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Prefacio por Glauter Jannuzzi 


A tecnologia transforma nossas vidas desde os tempos mais 
remotos. Particularmente quando o tema é relacionado a 
Inteligência Artificial, os mais aficionados por ficção científica vão se 
lembrar do HAL 9000, personagem da série “2001 — Uma odisseia 
no espaço” adaptado pelo cineasta Stanley Kubrick em 1968. HAL 
na verdade era o que podemos chamar hoje de assistente virtual 
inteligente, como a Alexa da Amazon ou o Google Assistent, ou 
ainda, a Siri, assistente presente nos iPhone da Apple ou a Cortana, 
assistente desenvolvida pela Microsoft para devices Windows. HAL 
na verdade era uma sigla para Heuristically programmed 
ALgorithmic Computer ou Computador Algorítmico Heuristicamente 
Programado. 


O fato de que qualquer tipo de robô ou dispositivo que consiga 
passar a sensação de inteligência em uma interação com um ser 
humano já é bem notável. O fascínio que tal tipo de algoritmo 
desperta na humanidade é algo que vem de muitas décadas. Vide o 
famoso e ainda mais antigo experimento conhecido como Teste de 
Turing de 1950. Alan Turing, um gênio da lógica e computação, 
britânico, publicou um artigo intitulado “Computer Machinery and 
Intelligence” onde propôs esse teste. O teste consistia em colocar 
uma pessoa (chamada de juiz) em contato, através de uma 
máquina, com outros dois participantes de uma conversa. Um deles 
era um ser humano, assim como o juiz, o outro era um algoritmo de 
computador, uma máquina. Caso o juiz em interação usando 
linguagem natural não conseguisse distinguir quem era o humano 
ou a máquina, o algoritmo teria passado no teste. 


Depois de 2001 — Uma odisseia no espaço (que na verdade foi 
concebido em 1968) e o teste de Turing de 1950, vamos retornar a 
2020. Desde que conseguimos disponibilizar poder computacional 
em abundância com a computação em nuvem, tem sido cada vez 
mais fácil permitir que computadores (ou softwares) consigam 
processar imagens, sons e uma massa enorme de dados não 


relacionais para gerar inteligência a partir disso tudo. Graças a 
computação em nuvem, foi possível aprofundar ainda mais os 
estudos e falarmos de Deep Learning, disciplina que vem evoluindo 
muito desde 2010. 


Sempre que recebo jovens na Microsoft para uma palestra sobre 
tecnologia, inovação e carreira, eu gosto de lhes perguntar se 
sabem o que é Inteligência Artificial (IA). Quando lanço a pergunta, 
muitos levantam as mãos afirmando que sabem do que se trata. 
Porém, quando peço para definirem, muitos têm dificuldade de 
explicar em poucas palavras o que é ou o que torna um dispositivo 
inteligente. E a resposta está no que chamamos de Serviços 
Cognitivos (do inglês Cognitive Services). Um dispositivo ou 
algoritmo inteligente que consegue interagir com humanos ou outros 
dispositivos usando os sentidos humanos de visão, audição, voz etc. 


Em 2016, a Visão Computacional atingiu um grande marco: os 
computadores conseguiram a paridade com humanos no 
reconhecimento de objetos (Object Recognition). Em 2017, 
computadores conseguiram a paridade com humanos em 
reconhecimento de voz (Speech Recognition). Em 2018, as 
máquinas conseguiram paridade com humanos na capacidade de 
ler e interpretar um texto (Machine Reading Comprehension). Ainda 
em 2018, a máquina atingiu a paridade com humanos na 
capacidade de tradução de linguagens. 


Perceba que, com a abundância de serviços na nuvem para 
processar grandes volumes de dados em tempos cada vez 
menores, estamos conseguindo criar o que nos primórdios se 
chamavam — com temor — de cérebro eletrônico. A máquina, 
conseguindo ser tão rápida quanto o homem, ou melhor, pois a 
partir do momento em que a paridade é atingida a máquina passa a 
nos superar. Foi assim na disputa entre um dos melhores 
enxadristas de todos os tempos, Garry Kasparov contra o 
computador Deep Blue, projetado pela IBM, que conseguia 
processar em sua versão inicial, cerca de 100 milhões de jogadas 
por segundo. Ainda assim, no primeiro jogo entre ambos, o humano 


venceu. Kasparov venceu Deep Blue em 1996. Na partida seguinte, 
um ano depois, Deep Blue já podia processar 250 milhões de 
jogadas por segundo e venceu Kasparov. 


Não se trata de gerar temor de que as máquinas vão dominar o 
mundo, é preciso sim que haja ética e verificação sobre o que o ser 
humano pode e é capaz de criar utilizando não apenas IA, mas 
robótica, drones, Realidade Aumentada etc. O fato é que a 
Inteligência Artificial e todos os seus desdobramentos técnicos hoje 
em Machine Learning e Deep Learning podem habilitar o 
desenvolvimento de softwares de grande impacto em nossas vidas. 
Desenvolvedores e profissionais de TI podem fazer uso de Serviços 
Cognitivos já disponíveis na nuvem para criar soluções poderosas e 
tornarem seus aplicativos e devices, de fato, inteligentes. 


Eu não diria que o céu é o limite, mas com o poder da computação 
em nuvem, especialmente, das plataformas de nuvem inteligente, há 
uma tendência de expansão infinita de capacidades que se 
expandem e multiplicam ano após ano. Neste livro, Thiago Custódio 
vai levar você a conhecer tecnicamente sobre os serviços 
cognitivos, detalhando o tema sobre análise de texto, pesquisa, 
reconhecimento de fala, tomada de decisão e visão computacional. 
Convido todos a estudarem o assunto e a partir desta obra, nos 
procurarem e participarem de nossos eventos de Al pelo mundo, 
pois o conteúdo é muito rico. 


Boa leitura! 
Glauter Jannuzzi 


Microsoft MVP Lead e Apaixonado por Realidade Aumentada e 
Inteligência Artificial. 


Sobre o livro 


Por que escrevi este livro 


Nos últimos anos, muito tem se falado sobre Aprendizado de 
Máquina (Machine Learning) e Inteligência Artificial (Artificial 
Intelligence). Também graças ao poder computacional disponível em 
provedores de computação em nuvem, está cada vez mais 
acessível adicionar estes algoritmos em suas aplicações seja via 
API ou bibliotecas. 


Nosso objetivo com este livro é demonstrar o uso e alguns cenários 
onde os Serviços Cognitivos da Microsoft podem lhe economizar 
centenas ou milhares de linhas de código além de tornar a 
experiência da sua aplicação mais rica. 


Para quem este livro se destina 


Este livro se destina principalmente a todos da comunidade 
desenvolvedora e/ou arquiteta de software que estejam 
interessados em aprender e conhecer as possibilidades para deixar 
suas aplicações mais inteligentes pelo uso dos serviços cognitivos 
do Microsoft Azure. 


Conhecimentos necessários 


Assumimos que você possui conhecimento em lógica de 
programação e conhecimentos básicos em alguma linguagem de 
programação (preferencialmente Cf). 


Sobre o Microsoft Azure 


Conhecimentos prévios em Microsoft Azure não são necessários, no 
entanto, para experimentar os serviços cognitivos é necessário 
possuir uma assinatura no Microsoft Azure. 


Links - GitHub 


Os exemplos deste livro estarao disponiveis no repositorio: 
https://github.com/thdotnet/Exemplos-Livro-Servicos-Cognitivos 
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Parte | -Um pouco de teoria 


"A ciência de hoje é a tecnologia do amanhã” - Edward Teller 


A estratégia atual da Microsoft está totalmente alinhada com 
computação em nuvem e inteligência artificial, motivo pelo qual 
escrevo e estudo sobre estes assuntos. 


Nesta parte, meu objetivo não é lhe explicar toda a teoria por trás de 
Aprendizado de Máquina e Inteligência Artificial, mas lhe fornecer 
algum embasamento para que você tenha a noção de como a 
"magica" acontece e, se for de seu interesse, para que você possa 
se aprofundar nestes assuntos em um outro momento. 


CAPÍTULO 1 
Inteligência Artificial e Aprendizado de Máquina, 
uma breve introdução 


O termo da vez em eventos e sites de tecnologia é Inteligência 
Artificial. É comum encontrarmos este termo associado aos demais 
‘puzzwords' como Aprendizado de Máquina, Deep Learning e 
Internet das Coisas. No entanto, ainda existe uma confusão sobre o 
que é Inteligência Artificial e Aprendizado de Máquina. Antes de 
explorarmos sobre os Serviços Cognitivos do Microsoft Azure, é 
importante entendermos os significados destas palavras. 


O termo Inteligência Artificial (Artificial Intelligence) foi criado pelo 
cientista da computação John McCarthy em 1956, e é definido como 
o estudo de "agentes inteligentes”, isto é, qualquer dispositivo que 
perceba seu ambiente e realiza ações que maximizem sua chance 
de atingir seus objetivos com sucesso. Também é comum 
encontrarmos o termo Inteligência Artificial aplicado quando uma 
máquina imita funções "cognitivas" que humanos associam a outras 
mentes humanas, como resolução de problemas e aprendizagem, 
por exemplo. 


Pouco tempo depois, 0 americano Arthur Samuel, pioneiro no 
campo de jogos de computador e Inteligência Artificial, criou o termo 
Aprendizado de Máquina (Machine Learning) em 1959, definindo-o 
como a capacidade de aprender sem ser explicitamente 
programado. 


Em outras palavras, o Aprendizado de Máquina é uma forma de 
treinar um algoritmo para que ele possa aprender como realizar 
determinada tarefa. Para o treinamento, devemos fornecer dados 
como entrada para o algoritmo e permitir que ele encontre padrões 
estatísticos nos dados. 
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Figura 1.1: Exemplo de fórmula matemática usada no aprendizado de máquina 


Usamos dados existentes e conhecidos com o intuito de encontrar 
uma função matemática que possa realizar uma previsão (fornecer 
uma resposta) ao receber novos dados como entrada. 


Dentre outras aplicações, o Aprendizado de Máquina tem sido 
usado com o intuito de melhorar a Visão Computacional, ou seja, a 
capacidade de uma máquina de reconhecer um ou mais objetos em 
uma imagem. 


1.1 Como funciona a Visão Computacional? 


Vamos supor que precisamos identificar se determinada imagem 
possui 0 numero oito escrito a mao ou nao. 


Para um computador, uma imagem é apenas uma matriz numérica. 
Então, se utilizarmos uma imagem de 28x28 pixels, o que o 
computador "enxerga" é uma matriz com 784 números (resultado da 
multiplicação 28 x 28). 


[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0, 1, 12,0, 11, 39, 137, 37, 0, 152, 147, 84, 0, 0, 0, 0, 
0, 1,0,0,0, 41, 160, 250, 255, 235, 162, 255, 238, 206, 11, 13, 0, 0, O, O, 16, 9, 9, 150, 251, 45, 21, 184, 159, 154, 2 
55, 233, 40, 0, 0, 10, 0, ©, 0, O, 0, 145, 146, 3, 10, O, 11, 124, 253, 255, 107, 0, 0, 0, 0, 3, 0, 4, 15, 236, 216, 0, 2, 
38, 109, 247, 240, 169, 0, 11, 0, 1, 0,2, 0, 0, O, 253, 253, 23, 62, 224, 241, 255, 164, 0,5,0,0,6,0,0,4,0, 3, 252 
, 250, 228, 255, 255, 234, 112, 28, 0, 2, 17,0,0,2,1,4,0, 21, 255, 253, 251, 255, 172, 31, 8,0,1,0,0,0,0, 0, 4, 
— O, 163, 225, 251, 255, 229, 120, 0, 0, 0, 0,0, 11,0, 0, 0, O, 21, 162, 255, 255, 254, 255, 126, 6, 0, 10, 14, 6, 0, 0, 9 
, 0,3, 79, 242, 255, 141, 66, 255, 245, 189, 7, 8, ©, 0, 5, ©, Ø, 0, 0, 26, 221, 237, 98, O, 67, 251, 255, 144, 0, 8, 0, 0 
,7,0,0, 11, 0, 125, 255, 141, O, 87, 244, 255, 208, 3, 0, 0, 13,0,1,0,1,0, 0, 145, 248, 228, 116, 235, 255, 141, 34 
,0,11,0,1,0,0,0,1,3, 0, 85, 237, 253, 246, 255, 210, 21, 1,0,1,0,0,6,2,4,0,0,0, 6, 23, 112, 157, 114, 32 

, 0, ©, ©, @, 2, Ø, 8, O, 7, O, Ø, @, O, O, O, O, @, O, O, O, @, O, O, O, O, ©, O, O, O, 0] 





Figura 1.2: Imagem vista por humanos - Imagem interpretada por um computador. 


Como entrada para o algoritmo, precisamos fornecer exemplos de 
imagens que possuam o número oito, e imagens que não possuam. 
Dessa maneira, o algoritmo será capaz de determinar qual a 
probabilidade (de 0 a 100) de, ao usar uma imagem como entrada, 
ela possuir o número oito escrito a mão. 


82778717228 6707175931D24396947 24 \1H44370343U3 
07 GC3U4U3Z3423Z3Z90%247G6G7AOO0Y2O66EN3J7I0H4?23220 
ZEOUYSCYFSUTSFAIGQTOELFITIGF465A10108324771309 6013 
DAG3CSICLIZCLIOZLITIGSGT7IDOCICYAVELGIIDILDAIGY 
SIOZAMAADAAGZSISUIL GF TS GYZIIZBZSFBOCT | BICEIGANFE 
LIYATSSOTLASASEYRESLSTT/SOS3SBOOLAZHW°UY4O3ECLZ 
13390497649 56926953 9HF730462G94YOQK97Z1039)2600 
34/1908Q21197A752423 9970250138493 1|E#COPLOOSD 
TISIAPTELZYUAYSYIQVPHVFVIODEKIFIYVFSFILVORB7IAL I G2 
COVAASFIGSOFITVSEIAEBSOCSIISLEIE60SYY102219 


Figura 1.3: Conjunto de dados usado para o treinamento do algoritmo. 


Criar um algoritmo genérico capaz de reconhecer padrões em 
imagens é algo complexo. E se pudéssemos subdividir esta tarefa 
em pequenas partes?! (Dividir para conquistar”) 


DIVIDIR PARA CONQUISTAR Esta ideia de dividir para conquistar é 
uma abordagem muito comum e pode ser encontrada em 


diversos algoritmos: Busca Binária, Ordenação Rápida (Quick 
Sort), Merge Sort entre outros. 





Poderíamos então criar uma função (chamada de neurônio) de 
estimativa simples que recebe um conjunto de entradas e as 
multiplica por pesos para obter uma saída. 


W3 


Figura 1.4: Estrutura e modelagem matemática de um nó em rede neural. 


Ao encadear vários neurônios simples, criamos uma rede neural, e 
podemos modelar funções que são muito complicadas para serem 
modeladas por um único neurônio. 


Camada Primeira Segunda Camada 
de Camada Camada de 
Entrada Escondida Escondida Saida 


Figura 1.5: Exemplo de rede neural artificial. 


Voltando para o nosso problema de reconhecimento de numeros 
escritos a mao, poderiamos usar redes neurais para reconhecer 
padroes do numero desejado: 
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Figura 1.6: Exemplo de rede neural para reconhecimento de numeros escritos a mao. 


Existe ainda outra questão, relacionada a posição do elemento que 
queremos identificar se se encontra na imagem. Poderíamos treinar 
o algoritmo com o mesmo objeto em diversas posições, combinar 
todas as possibilidades possíveis (algoritmo de força bruta) para que 
ele busque em todas as áreas da imagem ou redes neurais 
convolucionais (CNN) que fazem uso da sobreposição de pedaços 
da imagem, e os utilizam como entrada para o algoritmo. 
Novamente, eis o uso da estratégia de dividir para conquistar em 


ação. 


Observação: redes neurais convolucionais estão mais relacionados 
com Aprendizado Profundo (Deep Learning) e portanto fogem do 
escopo deste livro, mas caso você queira se aprofundar no assunto, 


recomendamos a leitura do seguinte artigo: 


http://www.computacaointeligente.com.br/artigos/redes-neurais- 


convolutivas-cnn/. 


1.2 Mesma ideia, mas para outros fins 


Vamos supor que uma empresa que administre rodovias esteja 
sendo multada pelo elevado numero de buracos na pista e que 
existem cameras para monitorar a rodovia. A fim de reduzir este 
numero de incidentes e futuras multas, esta empresa decidiu 
identificar automaticamente se existem buracos na pista e, em caso 
afirmativo, disparar alertas para os agentes rodoviarios. 


Como dito anteriormente, precisamos de um largo conjunto de 
dados que sera usado como entrada do algoritmo. Uma vez com o 
modelo treinado, basta enviar as imagens das cameras como 
entrada do algoritmo. Como saida, o algoritmo determinara a 
probabilidade de aquela imagem possuir um cao ou nao. Em casos 
de alta probabilidade, basta efetuar uma chamada a uma API que 
fara a notificação ao agente rodoviário e problema resolvido. 


Repare que poderíamos usar o mesmo algoritmo que identifica o 
número oito escrito a mão, mas neste contexto, usaríamos outro 
conjunto de dados para treiná-lo. Esta é a beleza de aprendizado de 
máquina, algoritmos podem ser reaproveitados, mudando apenas o 
conjunto de dados de entrada. 


Concluindo 


Existem diversos modelos treinados e capazes de identificar objetos 
em imagens (YOLO, RCNN, Fast RCNN, Mask RCNN, Multibox 
entre outros). Neste capítulo, quisemos dar uma breve introdução 
sobre como estes algoritmos funcionam. A seguir, vamos apresentar 
os tipos de algoritmos de Machine Learning e suas categorias. 


CAPITULO 2 
Um pouco mais sobre Aprendizado de Maquina 


Ja vimos que Aprendizado de Maquina diz respeito a encontrar e 
explorar padrões em um conjunto de dados, pelo uso de algoritmos 
genéricos, que podem dizer algo sobre esse conjunto sem que você 
tenha que escrever um código personalizado e específico para 
determinado problema. Mas para qual tipo de problemas podemos 
utilizá-lo? Eu posso usar aprendizado de máquina para prever os 
números vencedores da mega sena? 


Se um especialista humano não puder usar os dados de entrada 
para resolver o problema manualmente, provavelmente um 
computador também não conseguirá. Em vez disso, concentre-se 
nos problemas que um ser humano poderia resolver, mas onde seria 
ótimo se um computador pudesse resolvê-lo com muito mais 
rapidez. 


Vejamos alguns bons exemplos: 


e Meu apartamento em Maresias com dois dormitórios e um 
banheiro vale dois milhões de reais”? 

e Será que vou gostar de assistir ao filme Fragmentado 
simplesmente porque ele possui nota alta nos sites de 
avaliação? 

e Existe alguma falha mecânica em uma maquina da minha linha 
de produção? 


Usando a primeira pergunta como exemplo, para prever o preço 
ideal de um imóvel nosso algoritmo utilizaria o conjunto de dados de 
entrada para identificar o número de quartos, tamanho em metros 
quadrados do imóvel, localização entre outras características que 
influenciam no preço do imóvel. 


Tamanho (m?) Preco de venda 





3 Ipiranga RS 1.000.000 
2 65 Vila Mariana RS 800.000 


ao iso  TvilaOlímpia R$ 1.500.000 





Figura 2.1: Exemplo de preços de imóveis. 


Com base nessas características, o algoritmo é capaz de determinar 
qual seria o preço de venda ideal: 


Tamanho (m?) Preço de venda 


2 75 Ipiranga RS 750.000 





Figura 2.2: Características do imóvel. 


Quanto melhor o conjunto de dados utilizado para treinar o 
algoritmo, melhor será a precisão da resposta. 


Simplificando, os algoritmos de Aprendizado de Máquina podem 
responder às seguintes perguntas: 


e Quanto / Quantos? 

e A qual grupo / classe este item faz parte? 
e Existem grupos diferentes? 

e Existe alguma coisa fora do padrão? 

e Qual opção devo escolher? 


Ou, utilizando os nomes dos algoritmos: 


e Regressão (Quanto / Quantos?) 

e Classificação (A qual grupo / classe este item faz parte?) 
e Clusterização (Existem grupos diferentes?) 

e Detecção de Anomalia (Existe alguma coisa estranha?) 
e Recomendação (Qual opção devo escolher?) 


Voltando para as perguntas do inicio do capitulo, agora ficou mais 
fácil identificar se é possível e qual algoritmo de Aprendizado de 
Máquina devemos utilizar. 


e Meu apartamento em Maresias com dois dormitórios e um 
banheiro vale dois milhões de reais? R: Algoritmo de 
Regressão. 


e Será que vou gostar de assistir ao filme Fragmentado 
simplesmente porque ele possui nota alta nos sites de 
avaliação? R: Algoritmo de Recomendação. 


e Existe alguma falha mecânica em uma maquina da minha linha 
de produção? R: Algoritmo de Detecção de Anomalia. 


2.1 Algoritmos supervisionados e não 
supervisionados 


Os algoritmos descritos anteriormente podem ser classificados de 
duas maneiras: algoritmos supervisionados e não supervisionados. 


A diferença é que, para algoritmos supervisionados, sabemos qual é 
a saída correta com base em conjunto de dados fornecido como 
entrada; já para os algoritmos não supervisionados, o próprio 
algoritmo fica responsável por encontrar estruturas/relacionamentos 
nas entradas fornecidas, com o objetivo de descobrir novos padrões 
nos dados ou um meio para atingir um fim. 


Eis a classificação dos algoritmos citados anteriormente: 


e Supervisionados: Regressão e Classificação. 
e Não supervisionados: Clusterização, Detecção de Anomalia e 
Recomendação. 


Concluindo 


Mais uma vez, é importante lembrar que o aprendizado de maquina 
só funciona se o problema realmente puder ser resolvido com os 
dados que você tem. Não conseguimos determinar o preço de um 
imóvel levando em conta o número de janelas que ele possui. 


A seguir, vamos explorar modelos e algoritmos pré-treinados com o 
intuito de agilizar o desenvolvimento e adicionar inteligência em 
nossas aplicações. 


Parte Il - Começando com 
Serviços Cognitivos 


"Se você voltar algumas centenas de anos, o que nós damos por 
certo hoje pareceria mágica - ser capaz de conversar com pessoas 
a longas distâncias, transmitir imagens, voar, acessar grandes 
quantidades de dados como um oráculo. Essas são todas coisas 
que eram consideradas como magia algumas centenas de anos 
atrás ". - Elon Musk 


No momento em que escrevo estas linhas, estou voltando de um 
encontro anual realizado pela Microsoft com os Most Valuable 
Professionals (MVPs) do mundo todo, onde sao apresentadas 
algumas das novidades em que eles estao trabalhando. 


Assisti algumas palestras de Inteligência Artificial, e posso lhes dizer 
que o que está por vir é simplesmente incrível. Até nos canais de 
televisão aqui dos Estados Unidos existem comerciais sobre os 
Serviços Cognitivos da Microsoft e suas possibilidades. Nesta parte 
vamos dar os primeiros passos com alguns desses serviços bem 
como explorar algumas de suas possibilidades e aplicações. 


CAPÍTULO 3 
Cognitive Services APIs 


No ano de 2015, o website How-Old (https://now-old.net) viralizou 
por toda a internet. Todos queriam saber se o algoritmo era capaz 
de descobrir a idade das pessoas apenas pela submissão de fotos. 
Este mesmo site ganhou ainda mais acessos após a sua divulgação 
nos eventos Microsoft Build e Build World Tour. 





Figura 3.1: Exemplo de detecção de idade do CEO da Microsoft, Satya Nadella, usando o 
site how-old.net . 


O experimento How-Old também ganhou a atenção de sites 
especializados em tecnologia, como o Tech Crunch: 


https://techcrunch.com/2015/04/30/how-old-do-you-look-microsoft- 
built-a-robot-that-tries-to-guess-your-age/ 


Na época, existia o chamado Projeto Oxford, que através de 
algumas APIs permitia que seus usuários realizassem experimentos 
de Aprendizado de Máquina para alguns contextos: 


s Reconhecimento de faces; 
s Processamento de fala; 
e Visão Computacional. 


PROJETO OXFORD 


O Projeto Oxford ainda encontra-se disponível no GitHub e pode 


ser acessado através do link: 
https://github.com/Microsoft/ProjectOxford-clientsdk/ 





No ano seguinte, novas APIs foram disponibilizadas e o Projeto 
Oxford evoluiu para o que hoje conhecemos por Serviços 
Cognitivos, onde a Microsoft disponibiliza modelos pré-treinados 
para serem consumidos como serviço via API REST. 


o œ — 


API REST 


~ l 
I 


Cognitive Services Aplicação 
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Figura 3.2: Visão geral de como os Serviços Cognitivos funcionam. 


No momento em que escrevemos este livro, os Serviços Cognitivos 
estão divididos entre as seguintes categorias: 


e Visão 

e Fala 

e Idioma 
Decisão 
e Pesquisa 


Dentro das seções, além das APIs pré-treinadas nas quais os dados 
já foram fornecidos pela Microsoft, você ainda pode trabalhar com 
versões "custom", isto é, você pode fornecer os dados de entrada 
para que o algoritmo seja treinado com base neles. 


Imagine que a sua aplicação vai autenticar os usuários por detecção 
facial. Você deve fornecer as fotos dos usuários, para que o 
algoritmo consiga reconhecer e liberar ou bloquear o acesso à sua 
aplicação. 


Uma das vantagens dos Serviços Cognitivos é que eles são 
armazenados e rodam na Microsoft Azure, a nuvem pública da 
Microsoft. Com isso, a alta disponibilidade, segurança e 
escalabilidade são garantidas por um acordo de nível de serviço 
(SLA). O SLA, por sua vez, é um compromisso assumido pelo 
prestador de serviços de TI (neste caso, a Microsoft) perante seus 
clientes de que os Serviços Cognitivos estarão disponíveis em 
99.9% do tempo. 


Em relação à cobrança, você pode escolher se vai ser baseada no 
número de requisições para a API, ou em um valor fixo por mês 
para um determinado número de requisições. Também existe um 
modo gratuito, que deve ser usado apenas para testes e pequenas 
provas de conceito. 


Para saber mais sobre a precificação, acesse: 
https://azure.microsoft.com/pt-br/pricing/details/cognitive-services/ 
Para saber mais sobre o modo gratuito, acesse: 
https://azure.microsoft.com/pt-br/try/cognitive-services/ 


Ao longo dos próximos capítulos, você vai ver como é simples 
consumir as APIs dos Serviços Cognitivos e veremos mais cenários 
para o seu uso. Para isso, será necessário ter uma conta no 
Microsoft Azure. Se você ainda não possui, crie uma conta através 
do link a seguir: 


https://azure.microsoft.com/pt-br/pricing/purchase-options/pay-as- 
you-go/ 


CAPITULO 4 
Introdução ao serviço de análise de textos 


Ao longo dos anos, a quantidade de dados produzidos/consumidos 
tem crescido de forma exponencial. Se pegarmos o Facebook como 
exemplo, a cada 60 segundos 510.000 comentários são postados e 
293.000 status são atualizados, segundo o site de marketing digital 
Zephoria. O Twitter também possui números assustadores: a cada 
segundo, em média, cerca de 6.000 tweets são criados, o que 
corresponde a mais de 350.000 tweets enviados por minuto, 500 
milhões de tweets por dia e cerca de 200 bilhões de tweets por ano. 


Quanto mais dados são gerados, maior é o esforço para extrair 
informações e gerar insights. Precisamos de novas técnicas e 
tecnologias que ajudem os profissionais e empresas na extração 
dos dados e tomada de decisão. 


O primeiro Serviço Cognitivo que vamos conhecer é o de análise de 
textos, que faz parte da categoria Idioma. Com ele, podemos: 


e Identificar o sentimento relacionado a um texto 
(positivo/negativo); 

e Identificar palavras-chaves de um texto; 

e Identificar qual é o idioma de determinado texto. 


4.1 Criando o Serviço Cognitivo no Azure 


Em sua conta do Microsoft Azure, acesso e menu Al + Machine 
Learning e em seguida clique sobre o serviço Text Analytics: 


Microsoft Azure 
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Figura 4.1: Selecionando o serviço no portal do Azure 


Em seguida, precisamos informar o nome do serviço, a assinatura, 
data center, camada de preços e grupo de recursos para este 
serviço. O nome do serviço deve ser único, pois ele fará parte de 
uma URL que vamos utilizar para enviar nossas requisições. 


É comum ter mais de uma assinatura associada para um mesmo 
usuário. Algumas empresas utilizam a separação em nível de 
assinatura para separar ambientes de desenvolvimento e produção 
ou uma assinatura para cada filial. Se este é o seu caso, selecione a 
assinatura correta, pois o consumo será associado a ela. 


Com relação à camada de preços, recomendo que comece com a 
camada mais básica (pois estamos apenas desenvolvendo), e após 
um período de testes, você conseguirá estimar melhor quantas 
requisições serão feitas por mês e, com isto, escolher a camada de 
preços ideal. Por fim, para obter uma melhor performance e menor 
latência, recomendo que utilize o mesmo data center onde sua 
aplicação será hospedada. 


Microsoft Azure 


Dashboard > New > Create 


Create O X 


Text Analytics 


* Name 
exemplo-livra-cs-01 y” 


* Subscription 


Microsoft Azure Sponsorship 





* Location 


Brazil South bd 


* Pricing tier (View full pricing details) 





FO (5K Transactions per 30 days) 


* Resource group 


(New) rg-livro-cogservices-th 





Create new 


Leese eee ee = 


Figura 4.2: Preenchendo os campos necessarios. 


Após provisionado o serviço, basta acessar o menu Keys para obter 
as chaves de acesso. Estas chaves serão necessárias para 
autorizar as requisições http enviadas para este Serviço Cognitivo. 


Microsoft Azure Ø Search res 


» Dashboard > exemplo-livro-cs-01 - Keys 
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Figura 4.3: Obtendo as chaves de acesso. 


Repare que temos uma chave primaria e uma secundaria. Tanto faz 
qual das duas utilizar, a qualquer momento vocé pode gerar novas 
chaves clicando nos botões "Regenate key 1" para criar uma nova 
chave primária, ou "Regenate key 2" para criar uma nova chave 
secundária. 


4.2 Enviando chamadas via Visual Studio 


Agora que já criamos nosso serviço e temos nossa chave para 
consumi-lo, já podemos testá-lo. Vamos criar uma aplicação que 
enviará alguns exemplos de texto para o Serviço Cognitivo, e 
receberá um score de 0 a 1, sendo 0 algo extremamente negativo, e 
1 algo extremamente positivo. 


Em outras palavras, podemos automatizar a análise do nível de 
satisfação de algum produto / serviço / empresa utilizando este 


serviço. Podemos, por exemplo, solicitar para uma area de negocio 
entre em contato direto com clientes sempre que um score for 
inferior a 0,59 (59%). 


Ao longo deste livro, os exemplos serao criados usando Visual 
Studio e a linguagem de Programagao C#. No site oficial da 
Microsoft Azure, existem exemplos em outras linguagens como 
Java, Go, NodeJs entre outras. Visite o menu de acesso "guia de 


início rápido" para obter exemplos nessas linguagens de 
programação através da URL: 


https://docs.microsoft.com/pt-br/azure/cognitive-services/text- 
analytics/overview 





Crie uma nova aplicação do tipo Console, utilizando .NET Core e o 
Visual Studio: 


New Project ? x 


D Recent * Sort by: [Default | st Search OAS 





4 Installed Visual C# Type: Visual C# 
4 Visual C# A project for creating a command-line 
n Class Libra r application that can run on .NET Core on 
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Windows Desktop mo 
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NET Standard 
ce 
Cloud R) xUnit Test Project (.NET Core) Visual C# 
Test 
WCF D ASP.NET Core Web Application Visual C# 
b Visual Basic 
E Visual F# 
SQL Server 


Azure Data Lake 
JavaScript 


b 
b 
b Azure Stream Analytics 
> TypeScript 

b 


Other Project Types 


Not finding what you are looking for? 


Open Visual Studio Installer 


Name: [Exemploanaiseten fd 


Location: | CAUsers\thiag\source\repos N Browse... 











Solution name: ExemploAnaliseTexto Create directory for solution 
0O Create new Git repository 


Figura 4.4: Criando o Serviço de análise de texto. 


Em seguida, vamos adicionar uma referência via Nuget para o 
pacote Microsoft.Azure.CognitiveServices.Language.TextAnalytics : 


Browse Installed Updates 





osoft. Azure.CognitiveServices.Language.TextAnalytics X - C | Include prerelease 


HH Microsoft.Azure.CognitiveServices.Language.TextAnalytics © by Microsoft, 100K downloads 


Provides API functions for consuming Microsoft Azure Cognitive Services Language Text Analytics APIs. 


Figura 4.5: Criando o Serviço de análise de texto. 


Nos pacotes anteriores, existem classes que facilitam o consumo 
deste serviço cognitivo. Em vez de enviarmos requisições http 


diretamente e tratar o corpo e cabeçalhos da requisição 
manualmente, podemos usar essas classes para nos ajudarem 
nisso. Precisamos apenas importar alguns namespaces para as 
acessarmos: 


using System; 

using System.Collections.Generic; 

using System.Net.Http; 

using System. Threading; 

using System. Threading.Tasks; 

using Microsoft.Azure.CognitiveServices.Language.TextAnalytics; 

using Microsoft.Azure.CognitiveServices. Language. TextAnalytics.Models; 
using Microsoft.Rest; 


namespace ExemploAnaliseDeTexto 


{ 
class Program 
{ 
static void Main(string[] args) 
{ 
Console.WriteLine("Hello World!"); 
} 
} 
} 


Para enviar requisições às APIs dos Serviços Cognitivos da 
Microsoft, precisamos especificar o cabeçalho na requisição http, o 
Ocp-Apim-Subscription-Key COM à chave obtida no menu Keys no 
portal do Azure (as chaves primária e secundária mencionadas 
anteriormente). Vamos criar uma classe que encapsula esta lógica, 
para não ter que ficar repetindo esta etapa pelo código. 


private const string Subscriptionkey = "xxxxxxxxx"; // substitua aqui com 
o valor da sua chave primária 


/// </summary> 
class ApikeyServiceClientCredentials : ServiceClientCredentials 
{ 
public override Task ProcessHttpRequestAsync(HttpRequestMessage 
request, CancellationToken cancellationToken) 


request.Headers.Add("Ocp-Apim-Subscription-Key", SubscriptionKey) ; 
return base.ProcessHttpRequestAsync(request, cancellationToken) ; 


} 


A seguir precisamos instanciar um objeto do tipo TextAnalyticsClient , 
passando a classe ApikeyServiceClientCredentials COMO parâmetro. 


Para obter a analise de sentimento de determinado texto, 
precisamos chamar o método sentimentAsync , que recebe como 
parâmetro um objeto do tipo multiLanguageBatchInput e retorna um 
objeto do tipo sentimentBatchResult . 


O tipo MultiLanguageBatchInput recebe uma lista de MultiLanguageInput , 
isto é, podemos enviar diversas frases de uma só vez a fim de 
otimizar a analise de sentimento. 


No ultimo passo, vamos iterar sobre o objeto de retorno 
SentimentBatchResult € utilizar o identificador único enviado na 
requisição para identificar o score referente aquele documento. Veja 
como ficou nosso método main : 


static void Main(string[] args) 


{ 
ITextAnalyticsClient client = new TextAnalyticsClient(new 


ApiKeyServiceClientCredentials()) 
{ 


Endpoint = "https://eastus2.api.cognitive.microsoft.com" 


> 
Console.OutputEncoding = System.Text.Encoding.UTF8; 


SentimentBatchResult resultSentiment = client.SentimentAsync 


( 
new MultiLanguageBatchInput 


( 
new List<MultiLanguageInput>() 


{ 
new MultiLanguageInput("en", "@", "I had the best day of 


my life."), 
new MultiLanguageInput("pt", "1", "Hoje eu perdi duas 
horas do meu dia no trânsito caótico de São Paulo.") 
} 


) 
).Result; 


// Resultado 
foreach (var document in resultSentiment.Documents) 


{ 


Console.WriteLine($"Document ID: {document.Id} , Sentiment Score: 
{document.Score:0.00}"); 
} 


Console.Read(); 
} 


No exemplo anterior, estamos enviando dois exemplos de texto, um 
no idioma português e outro em inglês. Como informamos o ID dos 
documentos (0, 1 respectivamente), fica fácil correlacionar o score 
de cada documento. 


E' C:\Program Files\dotnet\dotnet.exe 


Document ID: O , Sentiment Score: 0,87 
Document ID: 1 , Sentiment Score: 0,04 





Figura 4.6: Resultado da analise de texto. 


Neste mesmo serviço cognitivo, ainda conseguimos detectar o 
idioma de determinado texto. Para isso, apenas precisamos chamar 
os métodos DetectLanguageAsync : 


var resultLanguage = client.DetectLanguageAsync(new BatchInput 


{ 


Documents = new List<Input> 


{ 


new Input(id: "3", text: "this is a sample text written in a 
foreign language") 


} 
}).Result; 


foreach(var document in resultLanguage.Documents) 


í foreach (var detectedLanguage in document.DetectedLanguages ) 
{ 
Console.WriteLine(detectedLanguage.Name) ; 
} 
} 


Após enviarmos essa requisição para a API, tivemos o seguinte 
retorno: 


|E! C:\Program Files\dotnet\dotnet.exe — o x 





Figura 4.7: Resultado da detecção de idioma em um texto via API. 


Também podemos identificar palavras-chaves de um texto 
chamando o método keyPhrasesAsync . Veja o exemplo a seguir: 


var exemploTextoEmPt = "O filme da Capita Marvel foi terrível para quem 
acompanha e lê as revistas em quadrinho"; 
var resultKeyPhrases = client.KeyPhrasesAsync(new MultiLanguageBatchInput 
{ 

Documents = new List<MultiLanguageInput> 

{ 

new MultiLanguageInput(language: "pt", id: "4", text: 

exemploTextoEmPt) 


} 
}).Result; 


foreach (var document in resultKeyPhrases.Documents) 


L 
foreach (var keyPhrase in document.KeyPhrases) 
{ 
Console.WriteLine(keyPhrase) ; 
} 


O exemplo completo pode ser obtido no repositório do GitHub: 


https://github.com/thdotnet/Exemplos-Livro-Servicos- 
Cognitivos/tree/master/AnaliseDe Texto/ 


E' C:\Program Files\dotnet\dotnet.exe = U x 


filme da Capita Marvel 5 
revistas em quadrinho 








Figura 4.8: Resultado de análise de palavras-chaves via API. 


4.3 Exemplos do mundo real 


Em outubro de 2017, fui convidado pela Microsoft (através programa 
Microsoft Most Valuable Professional) para ajudar em um Hackathon 
da XP Investimentos. Meu time, que acabou vencendo este evento, 
fez uma solução que convertia gravações telefônicas em texto que, 
em seguida, era enviado para o Serviço Cognitivo de Análise de 
Texto a fim de identificar o sentimento e palavras-chaves 
relacionadas à ligação telefônica. 


Ao final, criamos um dashboard que exibia de maneira agrupada, o 
sentimento e palavras-chaves das ligações em um determinado 
período de tempo. E qual foi o benefício? A empresa passou a 
auditar se determinadas ofertas de produto de fato estavam sendo 
divulgadas, se houve falha sistêmica, se os clientes estão satisfeitos 
com o atendimento/serviço além de diversos outros insights que 
antes não eram tão óbvios devido ao grande volume de ligações 
diárias. 


O código utilizado é exatamente o mesmo que vimos neste capítulo, 
está faltando apenas a parte de conversão de áudio em texto que 
vamos aprender nos próximos capítulos. 





Figura 4.9: Ganhador do Hackaton XP Investimentos. 
Abaixo um link oficial contando como foi 0 evento: 


https://www.microsofttech.com.br/pt-br/microsofttech/saiba-como-foi- 
o-hackathon-da-xp-investimentos-e-da-microsoft/ 


CAPITULO 5 
Adicionando buscas a aplicagao com o Bing 
Search API 


"Informação que não pode ser consumida é como um baú do 
tesouro no fundo mar que ninguém consegue alcançar. Não tem 
valor nenhum.” - Autor desconhecido 


Em um site que possui muita informação, é comum utilizarmos um 
mecanismo de pesquisa como um portão de entrada para a 
informação. No entanto, criar uma boa experiência de usuário e 
gerenciar a engine de busca é uma tarefa complexa. Precisamos 
refinar constantemente a busca para a entregar de resultados 
relevantes para os termos pesquisados. Em outras palavras, 
precisamos monitorar de perto os termos pesquisados, se houve 
resultados para eles e verificar sua relevância. Isso tudo além de 
toda a administração relativa ao motor de busca (espaço em disco 
consumido, memória consumida, tempo de resposta, réplicas etc.). 


Embora seja possível, não há necessidade de construir isso tudo do 
zero. Você pode e deve construir um mecanismo de busca usando 
alguma engine como Apache Solr, Lucene, Elastic Search OU Azure 
Search Quando você é dono da informação, desta maneira, você foca 
em como trabalhar com seus dados em vez de perder tempo com a 
escrita do código relativo à quebra dos termos pesquisados em 
tokens, e do armazenamento na estrutura de dados (índice 
invertido). 


Mas e quando você quer habilitar uma busca sobre dados que 
pertencem a algum outro site? É justamente neste ponto que o 
Serviço Cognitivo de Pesquisa atua: ele possibilita que você 
encontre conhecimento sobre as coisas com as quais você se 
importa de muitas maneiras diferentes (vídeo, imagens, texto) mas 
que não necessariamente existem no seu banco de dados. 


Se quiser aprender mais sobre Azure Search, existe uma 
palestra minha com recursos avançados do Azure Search 


publicada gratuitamente no site da InfoQ Brasil: 
https://www.infog.com/br/presentations/maxima-produtividade- 
com-azure-search/ 





5.1 Criando o Servigo Cognitivo de Pesquisa no 
Azure 


Assim como fizemos no capitulo anterior, precisamos acessar nossa 
assinatura no Microsoft Azure e criar um serviço que sera 
responsável por receber os termos pesquisados, e retornará 
conteúdo relevante como resposta. Podemos provisionar o serviço 
via Portal do Azure e acessando o menu Al + Machine Learning. Em 
seguida, clique sobre o serviço Bing Search vf: 


» Dashboard > New 
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[8] Security Quickstart tutorial 
E : 
E Identity Bing Search v7 
Developer Tools Quickstart tutorial 





Figura 5.1: Selecionando o serviço no portal do Azure 


Em seguida, precisamos informar um nome para o serviço, escolher 
a assinatura e a camada de preço, o grupo de recursos e, por fim, 
selecionar o check-box de aceite de que a Microsoft pode utilizar os 
termos enviados para melhorar os resultados para os termos 
pesquisados. 


Vale lembrar de que a qualquer momento você pode trocar a 
camada de preços, sendo assim, vamos começar com o modo mais 
barato e eventualmente você pode escalar para um modo que seja 
capaz de atender um maior número de requisições. Coloque este 
serviço no mesmo grupo de recursos que os demais componentes 


da sua aplicação para facilitar a administração e controle dos gastos 
por aplicação / ambiente. 


* Name 


bing-search-th v 


* Subscription 





Microsoft Azure Sponsorship 


* Pricing tier (View full pricing details) 





FO (3 Calls per second, 3k Calls per mo... W 


Bing Statistics Add-in 


Disable 


Bing Statistics Add-in will charge $1 
© extra per 1 pricing unit and will be 
available on Bing statistics portal. 





* Resource group 


rg-livro-cogservices-th ww 


Create new 


* | confirm | have read and understood 
the notice below. 


Figura 5.2: Preenchendo os campos obrigatórios para criar o serviço 


Opcionalmente, você também pode provisionar serviços no 
Microsoft Azure utilizando Azure CLI. Efetue a instalação via url: 
https://docs.microsoft.com/pt-br/cli/azure/install-azure-cli? 
view=azure-cli-latest/ 


Uma vez instalada, você pode criar serviços utilizando a linha de 
comando. Para reproduzir o exemplo anterior, bastaria 


utilizarmos o seguinte comando: 


az cognitiveservices account create \ 
--kind Bing.EntitySearch À 
--location global \ 
--name bing-search-th \ 
--resource-group rg-livro-cogservices-th \ 
--sku TO 





Após o provisionamento, acesse o menu "Keys" e guarde a chave 
de autenticação primária em um bloco de notas. Vamos utilizar essa 
chave para disparar requisições à API deste serviço. 


-search-th - Keys and Endpoint 








Search (Ctrl+ v © Regenerate Key] Ù Regenerate Key2 

verview COPY TO CLIPBOARD 
B overview NAME 
R Activity log | bing-search-th D 








Pa Access control (IAM) 


@ Tacs ENDPOINT 


| https://api.cognitive.microsoft.com/bing/v7.0 


F 


2 Diagnose and solve problems 





RESOURCE MANAGEMENT 


o These subscription keys are used to access your Cognitive Service API. Do not share your keys. Store them 

& Quick start b i uar E x 

securely- for example, using Azure Key Vault. We also recommend regenerating these keys regularly. Only one 
key is necessary to make an API call. When regenerating the first key, you can use the second key for 


? Keys and Endpoint continued access to the service. 





Z Pricing tier 
«> Virtual network KEY 1 

fo D 
© Billing By Subscription = 
HIE Properties 

KEY 2 
D Locks 


| _ l) b 





EJ Export template 


Figura 5.3: Obtendo as chaves de acesso 


5.2 Criando uma Console Application para testes 


Para explorar este serviço cognitivo, vamos criar uma nova Console 
Application chamada ExemploBingSearch : 





New Project 











b Recent É Sort by: [Default -| E 
4 I 
Installed s Console App (.NET Core) Visual C# 
4 Visual C# n ce 
Get Started ag z Class Library (.NET Core) Visual C# 
Windows Desktop ar l 
> Web BJ MSTest Test Project (.NET Core) Visual C# 
-NET Core pass . F . 
Va.) NUnit Test Project (NET Core) Visual C# 
.NET Standard 
CK 
Cloud ra xUnit Test Project (.NET Core) Visual C# 
Test 
WCF & ASP.NET Core Web Application Visual C# 
b Visual Basic 
b Visual F# 
SQL Server 
Azure Data Lake 
JavaScript 


Azure Stream Analytics 
TypeScript 
Other Project Types 


vv vv v 


Not finding what you are looking for? 
Open Visual Studio Installer 


Name: ExemploBingSearch 


Location: |CAUsersthiagisourcelrepos -| 








Solution name: ExemploBingSearch 





Search (Ctrl+E P- 


Type: Visual C# 


A project for creating a command-line 
application that can run on .NET Core on 
Windows, Linux and MacOS. 


Browse... 
Create directory for solution 
O Create new Git repository 


Figura 5.4: Novo projeto Console Application 


Precisamos adicionar o pacote 
Microsoft.Azure.CognitiveServices.Search.WebSearch 


via Nuget. Para 


isso, clique com o botão da direita do mouse sobre o projeto e 


selecione a opção Manage Nuget Packages : 


NuGet: ExemploBingSearch > > [> TSS 


Browse Installed Updates 


Microsoft Azure.CognitiveServices.SearchWebSearch X ~ C a Include prerelease 


Microsoft.Azure.CognitiveServices.Search.WebSearch ®© by Microsoft, 28,3K downloads 


This client library provides access to the Microsoft í 





Figura 5.5: Adicionando o pacote via Nuget Packages 


Assim como fizemos no capitulo anterior, precisamos importar 
alguns namespaces para ter acesso às classes onde a lógica para 
consumir o serviço cognitivo foi implementada. Uma alternativa seria 
chamar as APIs REST diretamente, porém teríamos que tratar e 
preparar o conteúdo da requisição e a resposta do serviço 
manualmente. Em sua classe Program.cs , adicione as linhas a seguir 
no começo do arquivo: 


using System; 
using Microsoft.Azure.CognitiveServices.Search.WebSearch; 
using Microsoft.Azure.CognitiveServices.Search.WebSearch.Models; 


No método main, vamos instanciar uma classe webSearchClient que 
será responsável por enviar as requisições para o serviço, passando 
como parâmetro uma instância da classe 
ApiKeyServiceClientCredentials que recebe sua chave primária ou 
secundária para autenticação ao serviço cognitivo: 


namespace ExemploBingSearch 
{ 
class Program 
{ 
static void Main(string[] args) 
{ 
var client = new WebSearchClient(new 
ApiKeyServiceClientCredentials("COLOQUE AQUI SUA CHAVE PRIMARIA OU 
SECUNDARIA" )); 


Por fim, basta chamarmos o método searchasync passando como 
parâmetro o termo desejado: 


var results = client.Web.SearchAsync(query: "receita de bolo de 
laranja").Result; 


Como estamos usando um console application, optei por serializar a 
resposta em uma string: 





IE! C:\Program Files\dotnet\dotnet.exe = o x 


{"queryContext":{"originalQuery":"receita\tde\tbolo de\tlaranja", "alteredQuery":null, “alterationOverrideQuery" ^ 
:null, “adultIntent":null, “askUserForLocation":null, “isTransactional":null}, “webPages":{"value":[{"displayUr1": 
“https: //www.tudogostoso.com.br/receita/134758-bolo-de-laranja-fofinho.html","snippet":"Receita de Bolo de lar 
anja fotinho. Enviada por Luciana lavares e demora apenas 40 minutos. ... Confira 15 receitas de bolo recheado 
27/12/19 Bolos de aniversário: veja 25 receitas maravilhosas para a sua festa Ver mais A receita apresentada 
nesta página foi enviada por Luciana Tavares através desta página.","deepLinks":null,"dateLastCrawled":"02/06/ 
2020 13:11:00", "searchTags":null1, "primaryImageOfPage":null, "thumbnailUr1":null, "provider":null, "text":null,"na 
me":"Receita de Bolo de laranja fofinho, enviada por Luciana ...","url":"https://www.tudogostoso.com.br/receit 
a/13475@-bolo-de-laranja-fofinho.html", "image" :null, "description":null, "bingId":null, “webSearchUr1":null, "id": 
“https: //api.cognitive.microsoft .com/api/v7/#WebPages .0"},{"displayUr1": "https: //www.tudogostoso.com.br/receit 
a/13953-bolo-de-laranja.html", "snippet": "Confira no TudoGostoso mais receitas de bolos com preparo simples e, 
claro, deliciosos: bolo de milho cremoso, bolo de fubá cremoso, bolo de laranja, bolo de cenoura, bolo de aipi 
m, bolo de chocolate, bolo de banana rápido de liquidificador, bolo de milho simples e muitas outras opções! P 
ara acompanhar essas delícias, que tal um cafezinho?","deepLinks":null,"dateLastCrawled":"02/06/2020 11:54:00" 
»"searchTags":null,"primaryImageOfPage":null,"thumbnailUrl":null,"provider":null,'"text":null,"name":"Receita d 
e Bolo de laranja, enviada por Gilda Ferreira ...","“url":"https://www.tudogostoso.com.br/receita/13953-bolo-de 
-laranja.html", "image":null, “description":null, "bingId":null, "webSearchUr1":null, "id": "https://api.cognitive.m 
icrosoft .com/api/v7/#WebPages.1"},{"displayUrl": "https://receitas.gratis/receitas/bolos-e-tortas/bolo-de-laran 
ja","snippet":"Este bolo fica muito bom. Fiz duas vezes, na primeira fui fiel a receita, mas não gostei do sab 
or forte que a casca de laranja deixou. Na segunda vez fiz sem a casca, com açúcar demerara, a massa ficou mol 
e, fiquei com receio de não dar certo, mas ficou perfeito, fofinho!","deepLinks":null, "dateLastCrawled":"@2/@5 
/2020 06:33:00", “searchTags":null, "primaryImageOfPage": null, "thumbnailUr1": "https: //www.bing.com/th?id=OIP.eub 
s RkKgqw5H8EamPfO7kAHaCc&w=80&h=80&c=1&pid=5.1","provider":null,"text":null,"name":"Receita de Bolo de laranja 
| Receitas de Bolos e Tortas ...","url":"https://receitas.gratis/receitas/bolos-e-tortas/bolo-de-laranja/","im 
age":null,"description":null,"bingId":null,"webSearchUrl":null,“id":"https://api.cognitive.microsoft.com/api/v 
7/HwWebPages.2"),("displayUrl":"https://www.youtube.com/watch?v=3 URnPppv7A","snippet":"O bolo de laranja casei 
ro MAIS FOFINHO DO MUNDO você encontra aqui! Espero que gostem! :) Dê joinha no vídeo! Obrigada meus queridos! 








Figura 5.6: Resposta Bing Search 


O exemplo completo ficou da seguinte maneira: 


using System; 
using Microsoft.Azure.CognitiveServices.Search.WebSearch; 
using Microsoft.Azure.CognitiveServices.Search.WebSearch.Models; 


namespace ExemploBingSearch 


{ 


class Program 


static void Main(string[] args) 


{ 


var client = new WebSearchClient(new 
ApiKeyServiceClientCredentials("COLOQUE AQUI SUA CHAVE PRIMARIA OU 
SECUNDARIA") ); 

var results = client.Web.SearchAsync(query: "receita de bolo 
de laranja").Result; 


Console.WriteLine(Newtonsoft.Json.JsonConvert.SerializeObject(results)) ; 
Console.ReadLine(); 


} 


Repare que, para o termo pesquisado, a própria API se encarregou 
de exibir resultados (sites) relevantes para ele. Agora você pode 
construir uma interface web ou mobile e renderizar os resultados 
obtidos com este serviço cognitivo: 


receita de bolo de laranja 


Figura 5.7: Busca por termo usando Bing Search 


Receita de Bolo de laranja, enviada por TudoGostoso ... 
https://www.tudogostoso.com.br/receita/24-bolo-de-laranja.html 
Receita de Bolo de laranja. Enviada por TudoGostoso e demora apenas 60 minutos. 


Tortas e bolos > Receitas de Bolo de Laranja | Tortas e ... 
https://gshow.globo.com/.../tortas-e-bolos/receitas-de-bolo-de-laranja 
Para o café da manhã ou para o lanche da tarde, nada melhor do que um delicioso bolo de laranja. 


Imagens de receita de bolo de laranja 





Receita de Bolo de laranja, enviada por Gilda Ferreira ... 
https://www.tudogostoso.com.br/receita/13953-bolo-de-laranja.html 
Receita de Bolo de laranja. Enviada por Gilda Ferreira Machado e demora apenas 40 minutos. 


Figura 5.8: Exibindo resultados para o termo desejado usando Bing Search 


5.3 Quando usar o Serviço Cognitivo de Busca - 
Bing Search? 


A grande vantagem de utilizar este serviço é que você delegou para 
os engenheiros da Microsoft todo o trabalho de extração e 
indexação de informação da web. Não foram exibidos anúncios, 
você não se preocupou com a administração do serviço nem com as 
complexidades relacionadas à manutenção da engine de busca. 
Rapidamente você foi capaz de adicionar uma experiência de busca 
ao seu website ou aplicativo. 


Vocé pode ser mais especifico sobre o tipo de midia esperado como 
resposta e, para isso, basta referenciar pacotes especificos via 
Nuget. Por exemplo, para exibir apenas imagens, referencie o 
pacote Microsoft.Azure.CognitiveServices.Search.ImageSearch , para exibir 
apenas videos, referencie 0 pacote 
Microsoft.Azure.CognitiveServices.Search.VideoSearch . 


E Program.cs 


Browse Installed Updates 





icrosoft.Azure.CognitiveServices.Search.lmageSearch X + C |_| Include prerelease 


Microsoft.Azure.CognitiveServices.Search.ImageSearch © by Microsoft, 10,1K downloads 


This client library provides access to the Microsoft Cognitive Services Image Search API 





Figura 5.9: Mais pacotes para busca com o Serviço Cognitivo Bing Search 


Browse Installed Updates 
Microsoft.Azure.CognitiveServices.Search x C O Indude prerelease 
H Microsoft.Azure.CognitiveServices.Search.lmageSearch © by Microsoft, 10,1K downloads v2.0.0 


This client library provides access to the Microsoft Cognitive Services Image Search API. 


| Microsoft.Azure.CognitiveServices.Search.EntitySearch © by Microsoft, 9,32K downloads v2.0.0 
This client library provides access to the Microsoft Cognitive Services Entity Search API. 


Microsoft.Azure.CognitiveServices.Search.CustomSearch © by Microsoft, 8,95K downloads 


This client library provides access to the Microsoft Cognitive Services Custom Search API 





HH Microsoft.Azure.CognitiveServices.Search.VideoSearch © by Microsoft, 3,48K downloads v2.0.0 
This client library provides access to the Microsoft Cognitive Services Video Search API. 
HH Microsoft.Azure.CognitiveServices.Search.VisualSearch © by Microsoft, 3,65K downloads v2.0.0 


This client library provides access to the Microsoft Cognitive Services Image Visual Search API. 


Figura 5.10: Continuação da listagem dos pacotes para busca com o Bing Search 


Faremos mais testes com o Serviço Cognitivo de Busca no capítulo 
sobre Visao Computacional. 


CAPITULO 6 
Explorando o Serviço Cognitivo de fala 


No momento em que escrevo este capítulo, o filme Vingadores 
Ultimato está em cartaz. Como todo fã, corri para os cinemas para 
assistir a conclusão épica desta saga. Uma das coisas mais legais 
desse filme (e de outros filmes da Marvel) é a interação do 
personagem o Homem de Ferro com inteligências artificiais que ele 
construiu (Jarvis / Friday). 


Apesar de se tratar de um filme de fantasia, esta parte não é 100% 
invenção, pois via Serviços Cognitivos da categoria de fala, 
podemos construir nossa própria inteligência artificial que interpreta 
nossos comandos de voz e realiza determinada tarefa. 


Antes de começarmos nossos testes, vamos entender quais são as 
possibilidades com este Serviço Cognitivo. 


e Tradução de falas: onde duas pessoas de nacionalidades 
distintas podem conversar em idiomas distintos, e o Serviço 
Cognitivo se encarrega de traduzir para o idioma nativo do 
receptor/emissor e gerar uma legenda com a frase traduzida. 


| 


Microsoft 





Figura 6.1: Tradução em tempo real com Skype Translator 


Existe uma demo de 2017, quando este serviço foi demonstrado 
incorporado no Skype. 


https://www.youtube.com/watch?v=u4cJoxX-DoiY/ 





e Também podemos traduzir texto para audio, e o melhor 
exemplo seria uma cópia do serviço Audible da Amazon. 
Imagine que, ao invés de ler determinado texto, você pudesse 
ouvir este mesmo texto ao mesmo que tempo em que você 
prepara o seu jantar ou faz alguma outra determinada tarefa. 


Player 


“e 


L 


THE — 
GIRL 


ON THE 
TRAIN 


PAULA HAWKINS 





Figura 6.2: Livros narrados com o Audible 


Quando eu estava na faculdade de Ciência da Computação, eu 
não tinha muito tempo livre para estudar, pois desde antes de 
ingressar na faculdade eu já trabalhava. No pouco tempo livre 
que eu tinha, eu estava dormindo ou me locomovendo pela 
cidade. Na época de provas, reparei que eu podia usar o tempo 


"perdido" no trânsito caótico de São Paulo, para estudar. Então 
tratei de converter o conteúdo da matéria para áudio, e escutava 
no meu carro enquanto estava parado no trânsito. Obviamente, 
naquela época era muito mais trabalhoso e envolvia diversas 
linguagens de programação e tecnologias para obter o áudio. 





e O inverso também pode ser feito, onde traduzimos áudio para 
texto. Um exemplo útil e que já se encontra embarcado em 
alguns produtos é um dispositivo que identifica locutores em 
uma reunião, e é capaz de traduzir o que cada integrante disse 
para texto. Em outras palavras, é um aparelho capaz de gerar 
atas de reunião automaticamente. 


mupe K Notes oar 
Dave Brown 95531 AM 
č Ok. That's good to know I'll follow up with my 
E team and post an update to the channel after 
the meeting 
Raanah Arrpad 95515 AM 
UVS And I'll follow up inside Yanzi an email about 
~~ the showcase sensors. 


«+ 
Raansh rnad 95538 AM 
Well take a look at the transcript behind me on 
the left even though we were all speaking over 

+ each other and the sound environment here is 

actually pretty challenging. but Al services 
coupled with the audio and video signals from 
the device could still ... 





Figura 6.3: Dispositivo que identifica o narrador e converte para texto 


Vocé pode conferir a visao da Microsoft para otimizar a 


experiência de reuniões através deste aparelho acessando a 
URL: https://www.youtube.com/watch?v=ddb3ZgAp9TA/ 





Também podemos customizar este serviço, de modo que ele 
reconheça apenas um locutor. Imagine que você queria automatizar 
algo em sua casa como ligar as luzes ao seu comando de voz, por 
exemplo. 


Além das oportunidades citadas anteriormente, existem diversas 
outras a serem exploradas usando estes Serviços Cognitivos da 
parte de fala. 


Se você criou algo relevante usando estes serviços, não deixe 
de me contatar via qualquer rede social no @thdotnet, ficarei 
feliz em ouvir seu case. 


Falar é fácil. 


Me mostre o código. 
Linus Torvalds 





Figura 6.4: Me mostre o código! 


6.1 Provisionando o Serviço via Azure CLI 


Estou assumindo que vocé ja leu os capitulos anteriores e ja 


sabe que 0 mesmo resultado pode ser obtido via portal do 
Azure. 





Para provisionar o serviço, precisamos executar o comando a seguir 
em um terminal que possua o Azure CLI instalado. Você pode 
executar diretamente via portal do Azure, e para isto, basta se 
autenticar lá e, em seguida, digitar na url https://shell.azure.com/. 


az cognitiveservices account create --kind SpeechServices --name 
ExemplosFalaTh --sku FO --resource-group "rg-livro-cogservices-th" -- 
location "South Central US" 


Nesse comando, estamos criando no grupo de recursos "rg-livro- 
cogservices-th" , UM Serviço Cognitivo do tipo SpeechServices , QUE 
será hospedado na região "south central us" com a camada de 
preços re (Free, gratuito). Em um sistema real, recomendo que 
você hospede o serviço próximo de sua aplicação, isto é, se sua 
aplicação será hospedada no Data center do Brasil, utilize a location 
"Brazilsouth" . Você também deve selecionar a camada de preços 
adequada, uma vez que a camada gratuita tem limitações no 
número de chamadas. 


Para maiores informações sobre os parâmetros utilizados via Azure 
CLI, consulte a documentação oficial em: 
https://docs.microsoft.com/pt-br/cli/azure/cognitiveservices/ 


OBSERVAÇÃO: 0 nome do serviço e o grupo de recursos 
utilizados são válidos para a minha assinatura. Ao reproduzir 


este exemplo, utilize um grupo de recursos existente em sua 
assinatura ou crie um novo. 





thiago.custodio@hotmail.com 


AA Azure Cloud Shell DIRETÓRIO PADRÃO 


PowerShell v| © ? & bk EA O D 
Welcome to Azure Cloud Shell 


Type “az“ to use Azure CLI 
Type “help” to learn about Cloud Shell 


MOTD: Switch to PowerShell from Bash: pwsh 


PS /home/thiago> cognitiveservices account create ` 
>> SpeechServices ` 

>> ExemplosFalaTh ` 

>> FO 

>> 





Figura 6.5: Criando o serviço via Azure CLI 


Após a criação do serviço, obtenha a chave de acesso para 
enviarmos requisições para este serviço: 





Microsoft Azure D Sear 


» Dashboard > Resource groups > rg-livro-cogservices-th > ExemplosFalaTh - Keys 





























+ ? ExemplosFalaTh - Keys 
Cognitive Services 
i <i UR teKey1 ÜR te Key2 
m O Search (Ctrl+/) | egenerate Key egenerate Key 
. E 
= &® Overview NAME 
de a Activity log ExemplosFalaTh 
© am Access control (IAM) 
a O Tags KEY 1 
Sa 
HH X Diagnose and solve problems 
© RESOURCE MANAGEMENT KEY 2 





Figura 6.6: Obtendo as chaves de acesso 


6.2 Pratica 


No Visual Studio, crie uma nova aplicagao do tipo Console 
Application utilizando o .NET Core. 


New Project ? x 


b Recent ^ Sort by: | Default -| 3 


4 Installed e Visual C 
ees 5a Console App (.NET Core) Visual C# Type: Visual Ch 


4 Visual C# A project for creating a command-line 


q N plic hat c ET € 

Get Started BL Class Library (.NET Core Visual C# application that can run c v NET Core on 
- Windows, Linux and MacOS 

Windows Desktop 


ce 
> Web a MSTest Test Project (.NET Core) Visual C# 


NET Core ce 
ral NUnit Test Project (.NET Core’ Visual C# 
NET Standard 


Cloud 


ce 
mt xUnit Test Project (.NET Core) Visual C# 
Test a | 


WCF & ASP.NET Core Web Application Visual C# 


Visual Basic 


v v 


Visual F# 

SQL Server 

Azure Data Lake 
JavaScript 

Azure Stream Analytics 


TypeScript 


œ e e e v 


Other Project Types 


Not finding what you are looking for? 


Open Visual Studio Installer 








Name: [TextToSpeec H ] 
Location C:\Users\thiag\source\repos X Browse. 
Solution name: TextToSpeech [4] Create directory for solution 





C] Create new Git repository 


Figura 6.7: Novo Console Application para testes 


Em seguida, instale via Nuget o pacote 


Microsoft.CognitiveServices.Speech : 


Esse pacote possui toda a lógica implementada para facilitar a 
interação com o Serviço Cognitivo de fala. Do contrário, teríamos 
que enviar requisições HTTP de envio/resposta manualmente. 


Em nossa classe Program.cs , vamos importar o namespace referente 
ao pacote instalado: 


using Microsoft.CognitiveServices.Speech; 
using System; 


Em seguida, no método main, vamos instanciar uma classe config, 
informando o data center e nossa chave de acesso: 


var config = SpeechConfig.FromSubscription("{SUBSCRIPTION AOUT L". 
"southcentralus"); 


Logo após, precisamos informar que os testes serão realizados em 
idioma português (Brasil): 


config.SpeechSynthesisLanguage = "pt-BR"; 


Com isso, podemos instanciar a classe speechsynthesizer , passando 
o objeto config como parâmetro: 


using (var synthesizer = new SpeechSynthesizer(config)) 


Para deixar o exemplo um pouco mais interativo, vamos pedir para o 
usuário digitar um texto que será convertido para áudio: 


Console.WriteLine("Digite o Texto que será narrado automaticamente"); 
string texto = Console.ReadLine(); 


Por fim, basta cnamarmos o método speakTextAsync passando o 
texto digitado: 


using (var result = synthesizer.SpeakTextAsync(texto).Result) 


Eventualmente, algum erro pode acontecer. Por exemplo, se você 
enviar muitas requisições que ultrapassam o limite configurado para 
a camada de preços escolhida. Sendo assim, devemos informar o 
usuário desse erro. 


if (result.Reason == ResultReason.Canceled) 
{ 
var cancellation = 
SpeechSynthesisCancellationDetails.FromResult(result) ; 
Console.WriteLine($"CANCELADO: Razado={cancellation.Reason}"); 


if (cancellation.Reason == CancellationReason.Error) 
{ 
Console.WriteLine($"CANCELADO: Codigo do Erro= 
{cancellation.ErrorCode}"); 
Console.wWriteLine($"CANCELADO: Detalhes= 
[{cancellation.ErrorDetails}]"); 


} 


} 
Console.ReadKey(); 


O exemplo completo ficou da seguinte maneira: 


using Microsoft.CognitiveServices.Speech; 
using System; 
using System.Threading.Tasks; 


namespace TextToSpeech 


{ 


class Program 


{ 


static void Main() 
{ 
var config = SpeechConfig.FromSubscription(" 
{SUBSCRIPTION_AQUI}", "southcentralus"); 
config.SpeechSynthesisLanguage = "pt-BR"; 


using (var synthesizer = new SpeechSynthesizer(config)) 


{ 


Console.WriteLine("Digite o Texto que será narrado 
automaticamente"); 


string texto = Console.ReadLine(); 


using (var result = 
synthesizer.SpeakTextAsync(texto).Result) 
{ 


if (result.Reason == ResultReason.Canceled) 
{ 
var cancellation = 
SpeechSynthesisCancellationDetails.FromResult(result); 
Console.WriteLine($"CANCELADO: Razão= 
{cancellation.Reason}"); 


if (cancellation.Reason == 
CancellationReason. Error) 


{ 


Console.WriteLine($"CANCELADO: Código do 


{cancellation.ErrorCode}"); 


Erro= 


Console.WriteLine($"CANCELADO: Detalhes= 
[{cancellation.ErrorDetails}]"); 


} 
} 
} 


Console.Readkey(); 


6.3 Case real - Protótipo Seeing Al 





Figura 6.8: Protótipo Seeing Al da Microsoft - evento Microsoft Build de 2016 


Screenshot obtido no Microsoft Build de 2016 durante a 


demonstração do projeto 





Uma prática comum nos eventos da Microsoft é apresentar como os 
clientes estão utilizando novas tecnologias para resolver problemas 


que antes nao eram possiveis. Um exemplo que eu sempre gosto 
de mencionar é o protótipo Seeing Al, com o qual, através da 
combinação de serviços cognitivos de Visão Computacional 
(veremos a seguir), e dos Serviços Cognitivos de Fala, um deficiente 
visual consegue realizar tarefas como "ler" as opções de um 
cardápio, identificar expressões faciais entre outras possibilidades. 


O case foi demonstrado no evento Microsoft Build de 2016 e pode 
ser assistido através da url: https://www.youtube.com/watch? 
v=R2mC-NUAmMk&t=2s/ 


No evento Microsoft Build de 2019, uma palestra inteira foi 
dedicada a esse projeto, onde todos os detalhes de 
implementação foram revelados. Para assistir, basta acessar a 
seguinte url: 


https://www.youtube.com/watch?v=hUWEG2o0V7qM/ 





CAPITULO 7 
Moderagao de conteudo com o Azure Cognitive 
Services 


No passado, fui contratado para trabalhar em um dos maiores 
portais de classificados do Brasil. Na época, permitiamos que, além 
da descrição do item que estava sendo vendido, fossem enviadas 
fotos do item em questão para que os interessados pudessem 
avaliar o estado de conservação. 


Acontece que alguns usuários do website, em vez de enviarem fotos 
relacionadas ao anúncio, enviavam fotos com conteúdo sexual, O 
que por muito pouco não gerou um processo ao site por parte dos 
usuários que tiveram que ver este tipo de conteúdo em um site de 
classificados. 


Por limitação da tecnologia da época, passamos a ativar os 
anúncios após uma validação manual do conteúdo enviado, além da 
qualidade das fotos e se as mesmas estavam relacionadas ao item 
em questão. Que bom seria se pudéssemos realizar esta validação 
de maneira automática, não é verdade” 


Mas que tipo de conteúdo este Serviço Cognitivo consegue 
moderar? 


No momento que escrevo esta página, via Serviços Cognitivos da 
categoria de Decisão podemos: 


e Detectar imagens possivelmente ofensivas ou indesejadas 

e Filtrar palavras em um texto para identificar conteúdo ofensivo, 
conteúdo sexualmente explícito ou sugestivo 

e Identificar conteúdo adulto em vídeos 


Vocé também pode criar uma lista com termos relacionados ao 
seu negocio. Por exemplo, identificar se em algum texto, video 
ou imagem o nome da empresa concorrente aos seus serviços 
foi citada. Para isso, basta utilizar a lista de termos 
personalizadas. Maiores informações em: 


https://docs.microsoft.com/pt-br/azure/cognitive-services/content- 
moderator/try-terms-list-api/. 





7.1 Provisionando o serviço 


Como já fizemos nos capítulos anteriores, antes de enviarmos 
nossas requisições para as APIs dos Serviços Cognitivos, 
precisamos criá-los em nossa assinatura do Azure. Basta efetuar o 
login em sua conta, procurar pelo serviço "Content Moderator" e, em 
seguida, clicar sobre o botão "Create". 


< O D https://portal.azure.com/&create/hub 





Microsoft Azure D Search resources, ser 





Dashboard New > Content Moderator 


Content Moderator 


aaeanoa erae eea 


Content Moderator © siso 
O Microsoft 


Overview Plans 





Machine-assisted content moderation APIs and human review tool for images, text, and videos. Detect potentially offen 
undesirable text, and moderate adult and racy content in videos. Use the built-in review tool for best results. 


Useful Links 

More about Content Moderator 
Documentation 

API reference 

Pricing 

Regional availability 


Figura 7.1: Primeiro passo para a criação do Serviço Cognitivo de Moderação de Conteúdo 


Depois, precisamos preencher os campos informando o nome do 
serviço, selecionar a assinatura do Azure, escolher em que região 
este serviço ficará hospedado, a camada de preços, e, por fim, em 
qual grupo de recursos este serviço será hospedado. 


Microsoft Azure 


K 


9 G © 





Dashboard > New > Content Moderator > Create 


Create 


Content Moderator 


* Name 


livro-cognitivo-services-th 


* Subscription 


Microsoft Azure Sponsorship 


* Location 


(South America) Brazil South 


* Pricing tier (View full pricing details) 
| FO (1 Calls per second) 


* Resource group 
rg-livro-cogservices-th 


Create new 


Figura 7.2: Preenchendo os campos para a criação do Serviço Cognitivo de Moderação de 


Conteúdo 


O portal vai validar se os dados são válidos e em seguida seu 
serviço será provisionado. 


7.2 Obtendo as chaves para autenticar a 
requisição 


Para validar que é você (ou sua aplicação) que está disparando as 
requisições, deve-se informar a chave de acesso que será validada 
pelo serviço antes de realizar a operação. Caso a chave informada 
seja inválida, o serviço vai retornar um código de resposta 401, que 
significa não autorizado. 


Para obter as chaves, clique sobre o item de menu "Keys" dentro do 
Serviço Cognitivo criado: 






Microsoft Azure PL Search re. 





Dashboard > livro-cognitivo-services-th - Keys 


uve Serv 


? livro-cognitivo-services-th - Keys 


$ C Regenerate Kev) G Regenerate Key2 


«> Overview NAME 
E Activity log livro-cognitivo-services-th 
sma Access control (IAM) 


P Tags KEY 1 


x Diagnose and solve problems 


RESOURCE MANAGEMENT 


7 Keys ESSES 


Figura 7.3: Obtendo as chaves de acesso para autenticar as requisições 


Vale lembrar que a qualquer momento você pode gerar uma nova 
chave clicando sobre o botão "Regenerate Key 1" ou "Regenerate 
Key 2". A troca de senhas/chaves com certa frequência é uma boa 
prática de segurança que deve ser seguida em seus projetos que 
forem para produção. 


7.3 Moderando conteudo de textos 


Nos dias de hoje, praticamente todo banco possui um chatbot com 
alguma inteligéncia artificial para interagir com os clientes. A 
questão é que os chatbots utilizam as interações com os clientes 
para aprender e aprimorar a inteligência artificial. Desta maneira, 
precisamos garantir que conteúdo ofensivo não seja utilizado pelo 
chatbot ou então o banco correrá um sério risco de ser processado. 


Um episódio parecido aconteceu com o Chatbot Tay, 
desenvolvido pela Microsoft em 2016, onde os usuários 


interagiam via Twitter com o robô, que em apenas um dia 
começou a publicar textos e imagens racistas. Você pode ler 
mais sobre o episódio pelo link: http://bit.ly/TayChatbotPtBr 





Infelizmente no momento em que escrevo este capítulo (junho de 
2019) o idioma português não está disponível, por este motivo, 
vamos utilizar o serviço criado para moderar conteúdo em imagens. 


7.4 Criando nosso projeto 


Assim como fizemos nos capítulos anteriores, vamos criar um 
Console Application para disparo de requisições ao Serviço 
Cognitivo de Moderação de Conteúdo: 


New Project 





b Recent = Sort by: | Default -| « Search (Cc 
4 
Reier E Console App (.NET Core) Visual C# Type: Visual Ce 
4 Visual C# x re A waren rrna a comma 
Class Library (NET Core) Visual C# application that can run on .NE 
en am Windows, Linux and MacOS. 
Windows Desktop pecs l 
> Web re MSTest Test Project (.NET Core) Visual C# 
NET Core ce 
a NUnit Test Project (.NET Core) Visual C# 
NET Standard 
ce 
Cloud a xUnit Test Project (NET Core) Visual C# 
Test 
WCF e: ASP.NET Core Web Application Visual C# 
b Visual Basic 
E Visual F# 
SQL Server 
b Azure Data Lake 
E JavaScript 
b Azure Stream Analytics 
b TypeSaipt 
b Other Project Types x 
Not finding what you are looking for? 
Open Visual Studio Installer 
Name: TextContentModerator 
Location: C:\Users\thiag\source\repos ” | Browse... 
Solution name: TextContentModerator Create directory for solution 


O Create new Git repository 


Figura 7.4: Criando o projeto de moderação de conteúdo 


Em seguida, vamos adicionar via Nuget o pacote 
Microsoft.Azure.CognitiveServices.ContentModerator : 








Browse Installed Updates NuGet Package Manager: TextContentModerator 
Content Moderator x -| Ò Include prerelease Package source: |nuget.org ^ EO 




















E 
EE Services. ContentModerator o 
E Microsoft.Azure.CognitiveServices.ContentModerator v2.0.0 
This client library provides access to the Microsoft Cognitive Services... 
Version: | Latest stable 2.0.0 ~ | Install 


B Microsoft.ProjectOxford.ContentModerator.DotNetCe v1.0.1 
Microsoft Cognitive Services Content Moderator API Client Library fo... (©) Options 














Figura 7.5: Adicionando o pacote Microsoft.Azure.CognitiveServices.ContentModerator via 
Nuget 


Após aceitar a licença, as dependências serão baixadas e 
instaladas em seu projeto. Em seguida, vamos importar os 
namespaces para ter acesso às classes que contêm a lógica 
necessária para envio das requisições: 


using Microsoft.Azure.CognitiveServices.ContentModerator ; 

using Microsoft.Azure.CognitiveServices.ContentModerator .Models; 
using Newtonsoft.Json; 

using System; 


Para autenticar as requisições, precisamos informar a chave 
primária ou secundária obtida no menu Keys e passar como 
parâmetro do construtor da classe contentModeratorclient : 


ContentModeratorClient client = new ContentModeratorClient (new 
ApikeyServiceClientCredentials(primarykey)); 


Também precisamos informar o Endpoint relativo à região do Azure 
que escolhemos durante o provisionamento do serviço. Este 
parâmetro pode ser obtido na aba principal do seu serviço: 


g livro-cognitivo-services-th 
Cognitive Services 


[i] Delete E Generate Custom Domain Name 





: Resource group (change) API type 
B overview rg-livro-cogservices-th Content Moderator 
fl Activity log Status Pricing tier 
Active 
Pa Access control (IAM) i 
ocation 
@ Tags Brazil South 
E l Subs on (change) Key1 
? Diagnose and solve problems Microsoft Azure Sponsorship 3e22b06e34534f209a12d44f3e63f2f6 


RESOURCE MANAGEMENT Subscription ID Manage keys 
60845c35-8dbb-42b1 -b4ca-6f8730e1be1d Click here to manage keys 
a . 

Quick start Tags (change) 


7 Keys and Endpoint Click here to add tags 


Figura 7.6: Obtendo o Endpoint to Serviço 


client.Endpoint = "https://brazilsouth.api.cognitive.microsoft.com"; 


OBSERVAGAO: repare que nao precisamos informar o sufixo 


contentmoderator . 





Como último passo, vamos informar qual é a url relativa à imagem 
que será analisada pelo Serviço Cognitivo a fim de identificar se ela 
pode ser classificada como conteúdo adulto. Neste exemplo, vou 
utilizar uma imagem de uma top model em um desfile de moda: 


try 
{ 
var url = "http://cdn@1.cdn.justjared.com/wp- 
content/uploads/2015 /02/brady-whois/who-is-tom-bradys-wife-meet-gisele- 
bundchen- supermodel -@6. jpg"; 


var response = client. ImageModeration.EvaluateUrlInput(url, new 
BodyModel("URL", url)); 
Console.WriteLine(J sonConvert.SerializeObject(response) ); 


} 


catch (Exception ex) 

{ 
Console.WriteLine(ex.Message) ; 
throw; 


} 


A resposta para a requisição anterior foi a seguinte: 


E! C:\Program Files\dotnet\dotnet.exe = o x 


{"CacheID":null, "Result":true, "TrackingId":"BRS_ibiza_60845c35-8dbb-42b1-b4ca- ^ 
6f8730e1beld ContentModerator.FO ab7e50c7-4bfa-4f71-9b28-db79f13ddc56","AdultC 
lassificationScore" :@.0023451496381312689, "IsImageAdultClassified": false, "Racy 
ClassificationScore" :8.9820830225944519, "IsImageRacyClassified": true, "Advanced 
Info": [{"Key"™: "ImageDownloadTimeInMs", "Value": "894"},{"Key": "ImageSizeInBytes" 

, Value": "286070"}], "Status": {"Code" : 3000, "Description": "OK", "Exception":null} 

} 


Figura 7.7: Resposta do Serviço Cognitivo 


Repare que no JSON de resposta as propriedades 
RacyClassificationScore possui um valor de 0.9820830225944519 
(98% de certeza), e a propriedade IsiImageRacyClassified possui O 
valor true. A propriedade isImageRacyClassified representa a 
presença potencial de imagens que podem ser consideradas 
sexualmente sugestivas ou de conteúdo para adulto em 
determinadas situações. 


O exemplo completo ficou da seguinte maneira: 


using Microsoft.Azure.CognitiveServices.ContentModerator ; 

using Microsoft.Azure.CognitiveServices.ContentModerator .Models; 
using Newtonsoft.Json; 

using System; 


namespace TextContentModerator 
{ 
class Program 
{ 
static void Main(string[] args) 
{ 
var primaryKey = "informe aqui sua chave primaria ou 
secundaria"; 
ContentModeratorClient client = new ContentModeratorClient(new 
ApikeyServiceClientCredentials(primaryKey) ) ; 
client.Endpoint = 
"https://brazilsouth.api.cognitive.microsoft.com" ; 


try 
{ 
var url = "http://cdn@1.cdn.justjared.com/wp- 
content/uploads/2015 /02/brady-whois/who-is-tom-bradys-wife-meet-gisele- 
bundchen-supermodel-06.jpg"; 


var response = 
client.ImageModeration.EvaluateUrlInput(url, new BodyModel("URL", url)); 
Console.WriteLine(JsonConvert.SerializeObject(response) ); 
} 
catch (Exception ex) 


{ 


Console.WriteLine(ex.Message) ; 
throw; 


} 
Console.Read(); 


} 
Conclusão 


O serviço Cognitivo de Moderação de conteúdo ainda está em sua 
fase inicial, mas demonstra muito potencial e diversos casos de uso. 
Em alguns meses teremos novas funcionalidades e suporte para 
outros idiomas nos casos de moderação de texto. Para maiores 
informações sobre esse serviço, consulte a url oficial: 
https://docs.microsoft.com/pt-br/azure/cognitive-services/content- 
moderator/. 


CAPITULO 8 
Visão computacional com o Serviço Cognitivo de 
Visão 


Algumas páginas atrás, vimos o case Seeing Al, que permite que 
uma pessoa deficiente visual saiba quais objetos estão em seu 
campo de visão. Tudo começa com uma foto que é enviada para o 
Serviço Cognitivo de Visão via Rest API. Esta foto é processada 
pelo serviço, que, em seguida, retorna um JSON com o que foi 
identificado. Por fim, o aplicativo converte texto para fala e narra 
para a pessoa a resposta do processamento. 


Em 2016 o Seeing Al foi apresentado através do uso de um 
óculos especial. Pouco tempo depois, ele foi convertido para um 


Aplicativo de celular com o objetivo de ser mais inclusivo, isto é, 
não exigir a compra de um dispositivo. Para maiores 
informações, visite: https:/Awww.microsoft.com/pt-br/ai/seeing-ai 





Graças ao grande volume de imagens dos bancos de dados da 
Microsoft e imagens públicas disponíveis na internet, foi possível 
classificar um grande número de objetos. No momento em que 
escrevo esta página, o Serviço Cognitivo consegue identificar mais 
de 2000 objetos classificados em 87 categorias distintas: 





Figura 8.1: Visão das categorias do Serviço Cognitivo de Visão 


Se considerarmos a imagem como exemplo: 
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Figura 8.2: Imagem utilizada como Exemplo pelo Serviço Cognitivo de Visão 


O serviço consegue identificar: 


e o formato do arquivo (gif, jpg etc.) 

e dimensões da imagem em pixels 

e se a imagem é em preto e branco 

e se trata-se de conteúdo adulto/sexual 

e qual é a cor predominante 

e lista de objetos (tags) que foram identificados na imagem 
e uma sentença que descreve a imagem 


Vamos criar uma aplicação de exemplo para consumir o Serviço 
Cognitivo e aprender como interpretar sua resposta. 


8.1 Provisionando o serviço em nossa assinatura 


do Microsoft Azure 


Antes de mais nada, precisamos provisionar o serviço em nossa 
assinatura no Microsoft Azure. Para isto, autentique-se no portal do 
Azure, selecione o menu criar um recurso -> IA + Machine Learning €, 


por fim, Pesquisa Visual Computacional : 
Criar um recurso Nova 
Página inicial 


= Painel 





Todos os serviços Azure Marketplace Ver todos 


FAVORITOS 


Introdução 
Grupos de recursos 


i . Criado recentemente 
Serviços de pesquisa 


Todos os recursos 
Análises 
o Recente 
Blockchain 
RS Serviços de Aplicativos 
Computação 


a Máquinas virtuais (clássicas) 
Contêineres 


E Máquinas virtuais 


Bancos de dados 


= Bancos de dados SQL 
Ferramentas de desenvolvedor 


® Serviços de nuvem (classic... 
DevOps 


Assinaturas 





Identidade 


Em destaque Ver todos 


Workspace de serviço do Machine 
Learning 
Saiba mais 


Web App Bot 
Tutorial de início rápido 


Pesquisa Visual Computacional 
Tutorial de início rápido 
Detecção Facial 

Tutorial de início rápido 


Análise de Texto 
Tutorial de início rápido 





Figura 8.3: Provisionando o Serviço Pesquisa Visual Computacional 


Será apresentada a tela a seguir, solicitando o preenchimento de 
alguns campos. Informe um nome para o serviço, escolha a 
assinatura, em qual data center ele será hospedado, a camada de 


preços e o grupo de recursos: 


* Nome 
exemplo-livro-th 
* Assinatura 


Microsoft Azure Sponsorship 


* Localização 
(América do Sul) Sul do Brasil 





* Tipo de preço (Exibir detalhes de preço completos) 
FO (20 Chamadas por minuto, 5K Chamadas por més) 





* Grupo de recursos 


rg-livro-cogservices-th 





Cnar novo 


Figura 8.4: Provisionando o Serviço Pesquisa Visual Computacional - Preenchendo 
Campos obrigatorios 


Para fins educativos, estou utilizando a camada de preços 
gratuita. Em produção, utilize a camada de preços padrão 


(standard) pois ela suporta um maior número de requisições 
concorrentes. 





Após uma validação para garantir que o nome informado continua 
disponível e que não existe nenhuma restrição na assinatura, o 
serviço será criado. 


O A implantação foi concluída 
BĘ Nome da implantação: Microsoft.CognitiveServicesComputervision Hora de início: 06/10/2019 17:23:14 


Assinatura: Microsoft Azure Sponsorship ID de Correlação: 98ad582e-13ea-4d40-9f70-05efe0cf4e07 
Grupo de recursos: rg-livro-cogservices-th 


v Detalhes de implantação (Baixar) 


^ Próximas etapas 


Ir para o recurso 


Figura 8.5: Provisionando o Serviço Pesquisa Visual Computacional - Provisionamento 
concluído 


8.2 Show me the code! 


Lembra do monitoramento em tempo real de rodovias que citei nos 
primeiros capítulos? Vamos criar uma aplicação para resolver este 


problema. Apenas para simplificar a implementação, vamos criar um 
Console Application: 


New Project 


b Recent ^ Sort by: | Default el i 








4 Installed Ñ 
5a Console App (.NET Core) Visual C# Type: Visual 
4 Visual C# ce A project for 
25 cl ( —_ application tt 
Get Ste ass Library (.NET Core) Visual C# 
——e és N Windows, Lin 
Windows Desktop ce 
Ba ra MSTest Test Project (NET Core) Visual C# 
NET Core ce 
R NUnit Test Project (.NET Core) Visual C# 
NET Standard 
Cloud ce l : 
a a) xUnit Test Project (.NET Core) Visual C# 
Test la 
WC ASP.NET C b Appl (Cs 
o ~ ore Web Application Visual C 
b Visual Basic 
b Visual F# 
SQL Server 
E Azure Data Lake 
E JavaScript 
> Azure Stream Analytics ka 
Not finding what you are looking for? 
Open Visual Studio Installer 
Name: ExemploMonitoréstradg A 
Location: [c \Users\thiag\source\repos X Browse. 
Solution name: ExemploMonitorEstrada Create direct 


O Create new G 


Figura 8.6: Criando um novo projeto do tipo Console Application 


Em seguida, vamos adicionar uma referência ao pacote 
Microsoft.Azure.CognitiveServices.Vision.ComputerVision . Na classe 
Program.cs , vamos importar os namespaces do pacote instalado 
anteriormente e de suas dependências: 


using Microsoft.Azure.CognitiveServices.Vision.ComputerVision; 

using Microsoft.Azure.CognitiveServices.Vision.ComputerVision.Models; 
using Newtonsoft.Json; 

using System; 

using System.Collections.Generic; 


No método main, vamos criar uma variável que conterá uma 
referência a uma imagem capturada pela câmera que faz o 


monitoramento da rodovia: 


var imageURL = "https://i.ibb.co/c87KgLT/open-road-moto.png"; 


A imagem referente a URL anterior é a seguinte: 





Figura 8.7: Imagem de exemplo contendo um motoqueiro em uma rodovia 


Antes de prosseguir com o código, precisamos utilizar a chave para 
autenticar as requisições enviadas para o Serviço Cognitivo. Assim 
como fizemos para os demais exemplos, esta chave é obtida no 
portal, no menu chaves : 


? exemplo-livro-th | Keys and Endpoint x 


Serviços Cognitivos 








Ø Pesquisar (Ctrl+/) 








Visão geral 


Log de atividade 


Marcações 


TG IAM (Controle de acesso) 
Z 
P 


Diagnosticar e resolver probl... 


GERENCIAMENTO DE RECURSOS 
& Início rapido 

{Z Tipo de preço 

<> Virtual network 

= Identity 

© Cobrança por assinatura 

‘I! Propriedades 
â Bloqueios 


Exportar modelo 


« 


TU Gerar novamente a Chauve) CZ Gerar novamente a Chavez 


NOME 





| exemplo-livro-th D | 





PONTO DE EXTREMIDADE 





| https://exemplo-livro-th.cognitiveservices.azure.com/ D | 





@ Essas chaves da assinatura são usadas para acessar a API do Serviço Cognitivo. Não 
compartilhe suas chaves. Armazene-as com segurança, por exemplo, usando o 
Azure Key Vault. Também recomendamos a regeneração regular dessas chaves. 
Apenas uma chave é necessária para fazer uma chamada à API. Durante a 
regeneração da primeira chave, você poderá usar a segunda chave para continuar 
acessando 0 serviço. 


CHAVE 1 


Coe c 








CHAVE 2 


ce c 








Figura 8.8: Obtendo chave para autenticar as requisições 


Ainda no portal, copie o ponto de extremidade ( endpoint ) do seu 
Serviço (obtido no menu visão Geral ): 


Cognitive Services 


o exemplo-livro-th 





Search (Ctrl+ K [ll] Delete 
a Resource group (change) API type 
B overview rg-livro-cogservices-th Computer Vision 
R Activity log Status Pricing tier 
Active Free 
Êa Access control (IAM) 
Location 
o Tags Brazil South 
Subscription (change Key1 
2 Diagnose and solve problems alias ( ge) . 
Microsoft Azure Sponsorship bd2ddda520914598bd89218476d702e8 
RESOURCE MANAGEMENT Subscription ID pile ae 
60845c35-8dbb-42b1-b4ca-6f8730e1be1d Click here to manage keys 
& Quick start Tags (change) 


7 Keys and Endpoint Click here to add tags 
eys 


Figura 8.9: Obtendo o endpoint para envio das requisições 


De volta ao código, vamos criar uma nova variável e colar o valor de 
nossa chave: 


var subscriptionkey = "VALOR DA SUA CHAVE AQUI"; 


No próximo passo, vamos instanciar um objeto do tipo 
ComputerVisionClient , informando a chave e O endpoint : 


var client = new ComputerVisionClient (new 
ApikeyServiceClientCredentials(subscriptionKey) ) 


{ 


Endpoint = "https://exemplo-livro-th.cognitiveservices.azure.com/" 


}; 


Em seguida, vamos chamar o método analyzeImageasync informando 
a URL da imagem que queremos analisar e quais características 
devem ser identificadas nesta imagem, através do Enumerado 


VisualFeatureTypes : 


var results = client.AnalyzeImageAsync(imageURL, new 

List<VisualFeatureTypes>() { 
VisualFeatureTypes.Categories, 
VisualFeatureTypes.Description, 
VisualFeatureTypes.Tags, 

}).Result; 


Por fim, vamos inspecionar o que o serviço retornou como resposta. 
Para isso, estou serializando em uma string o objeto para facilitar a 
visualização: 


Console.WriteLine(JsonConvert.SerializeObject(results)); 
Console.Read(); 


E! C:\Program Files\dotnet\dotnet.exe = o x 


{"categories":[{"name": “outdoor_", “score":@.01171875, "detail": {"celebrities":null, “landmark ^ 
s":[]}},{"name": "outdoor_road", "score":0@.8046875, "detail": {"celebrities":null, "landmarks": [ 
]}}], “adult":null, "color" :null, "“imageType":null, "tags": [{"name": "outdoor", "confidence" :@.99 
802541732788086, "hint":null},{"name": "road", "confidence" :@.99273771047592163, "hint":null}, { 
"name" : "sky", "confidence" :@.988959252834320@7, "hint":null},{"name": "helmet", “confidence":@. 
94762933254241943, “"hint":null},{"name": "track", "confidence" :@.9088972806930542, "hint": "spor 
t"},{"name":"land vehicle", "confidence" :@.89275932312011719, "hint" :null},{"name": "vehicle", 
"confidence" :@.890798807144165, "hint":null},{"name": "motorcycle", "confidence" :@.81666606664 
657593, “hint":null},{"“name": "mountain", "confidence" :@.8106805682182312, “hint":null}, {"name" 
:"bicycle helmet", "confidence" :@.69913959503173828, "hint":null},{"name": "wheel", "confidence 
":0.65963864326477051, "hint":null},{"name": "bike", "confidence" :@.64123630523681641, "hint":n 
ull}, {"name": "motorbike", "confidence" :@.5759885311126769, "hint":null},{"name": "racing", "con 
fidence" :0.54420846760668335, "hint":null), {"name": "way", "confidence" :6.52180629968643188, "h 
int":null), {"name": "dirt", "confidence": 0.33147084712982178, “hint":nul1}, {"name": “highway”, " 
confidence" : 0. 30353343486785889, "hint":null},{"name": "turn", "confidence" :@.2049147188663482 
7,"hint":null}], "description": {"tags":["outdoor", "road", "motorcycle", "track", "mountain", "ri 
ding", "bicycle", "racing", "man", "going", "dirt", "highway", "driving", "couple", "yellow", “people 
","group"],"captions":[{"text":"a man riding a motorcycle down a dirt road","confidence":@. 
88702589571607815}]}, “faces":null, “objects":null, "brands": nul). "requestId":"23e8a7cf-fbbc-4 
2b8-b108-1638a2ae5362", "metadata": {"width":1624, “height":1024, "format": "Png"}} 





Figura 8.10: Resultado da análise 
Repare que o serviço foi capaz de identificar: 


e uma moto (81% de certeza) 
s uma rodovia (99% de certeza) 
e um capacete (94% de certeza) 


e que a descrição foi assertiva: 
"Um homem andando de moto em uma rodovia suja" 


Se substituirmos o valor da URL pelo seguinte: 


var imageURL = "https://i.ibb.co/94phvkb/open-road-dog.png”"; 








Figura 8.11: Imagem de um cao na rodovia 


A resposta do serviço para a nova requisição sera: 





IE! C:\Program Files\dotnet\dotnet.exe = O X 


60107,"hint"”:null), ("name":"carnivore","confidence":0.98141622543334961,"hin” 
t":null},{"name": "mountain", "confidence" :@.89169281721115112, "hint" :nul1},{" 
name": "outdoor" , "confidence" :@.88156318664550781, "hint" :null},{"name": “mamma 


1", "confidence" :@.64983320236206055, "hint": “animal"},{"name": "dog", “confiden 


ce":0.44280442595481873, "hint":null}], "description": {"tags": ["mountain", “out 
door", “sitting”, “dog”, “standing”, "black", "laying", "brown", “table”, “snow", “la 
rge", "horse", "white"],"captions":[{"text":"a dog sitting on top of a mountai 
n", "confidence" :@.45551362354570085}]},"faces":null, “objects":null, "brands": 
null, “requestId" : "9054a2ea-7674-4972-8bb2- 868557235302", "metadata": {"width": 
1024, “height":1024, "format": "Png"}} 


Figura 8.12: Resultado da análise 


Repare que o serviço tem 98% de certeza de que a imagem possui 
um animal, porém não tem "tanta" certeza de que é um cão (apenas 
44% de certeza). Mesmo assim, podemos usar esta informação 
para um agente de trânsito ir inspecionar esta parte da rodovia. 


Leitura de caracteres 


Usando este mesmo projeto/serviço de código, conseguimos 
identificar caracteres em imagens de forma automática. Basta 
utilizar os métodos BatchReadFileAsync © GetReadOperationResultAsync 
da classe computervisionclient . Vamos usar a imagem a seguir como 
parâmetro para que o Serviço Cognitivo extraia o texto: 


FACA 
DOS 
SEUS 


SONHOS. 
um 
OBJETIVO. 





Figura 8.13: Imagem para extração de caracteres 


Como primeiro passo, vamos alterar o valor da variável imageurL : 


var imageURL = "https://i.ibb.co/ZfkCM8q/read-text. jpg"; 


Em seguida vamos chamar o método BatchReadFileAsync e aguardar 
pela resposta. Precisamos extrair o GUID da resposta, pois este 
será usado na requisição seguinte, onde vamos chamar o método 
GetReadOperationResultAsync . Um jeito simples de obter este GUID é 
efetuando um split pelo caractere / e pegando a última posição do 
array que será gerado: 


var results = client.BatchReadFileAsync(imageURL).Result; 
var operationId = results.OperationLocation.Split("/").Last(); 


Por fim, basta chamar o método GetReadOperationResultAsync , 
aguardar pelo resultado (coloquei um delay de 5 segundos no 
código), e iterar sobre as linhas com o texto extraído: 


System.Threading.Thread.Sleep(5000); 


var recognitionResults = 
client.GetReadOperationResultAsync(operationId).Result; 


foreach (TextRecognitionResult result in 
recognitionResults.RecognitionResults) 


{ 


foreach (Line line in result.Lines) 


{ 


Console.WriteLine(line.Text); 


} 
Console.Read(); 


E! C:\Program Files\dotnet\dotnet.exe — o x 


FACA A 
DOS 

SEUS 

SONHOS, 

um 

OBJETIVO. 


Figura 8.14: Extração de texto via Visão Computacional 


O serviço também é capaz de extrair textos a mão. É muito útil 


para "digitalizar" redações, manuscritos ou anotações em algum 
pedaço de papel. 





8.3 Possibilidades 


Existem diversas aplicações para este serviço, que vão desde o 
reconhecimento de objetos a fim de validar se eles deveriam estar 
presentes ou não naquela imagem. Você também pode validar se 
alguma marca foi identificada na imagem, evitando propaganda 
gratuita para seus concorrentes ou até mesmo um possível 
processo judicial por uso não autorizado de imagem. 


Crie sua própria Amazon Go 


Nos Estados Unidos existem lojas da Amazon (Amazon Go), que 
possuem câmeras que ficam constantemente monitorando as 
prateleiras e a posição dos compradores na loja. Quando alguém 
retira um produto da prateleira, a loja automaticamente sabe qual foi 
o produto selecionado. Assim que a pessoa sai da loja, ela recebe 
um email com os produtos selecionados e o valor da compra. 


SHOPPING 





Figura 8.15: Foto de uma das lojas da Amazon Go 


Utilizando o Serviço Cognitivo de Visão, você processar fotos em 
tempo real, e validar se o produto A ainda está na mesma posição 
na prateleira. Em caso negativo, quem foi o comprador que removeu 
o produto e adicioná-lo a um "carrinho de compras” associado à 
pessoa. Obviamente, a pessoa pode desistir da compra ou trocar o 
produto de posição, logo, é preciso que o sistema considere estas 
possibilidades antes de concluir que de fato a pessoa comprou 
aquele produto. 


Pesquisa de produtos por imagem 


O aplicativo de compras da Amazon também suporta busca por 
imagem. Tudo o que você precisa fazer é tirar uma foto do produto 
desejado, e utilizando seus próprios serviços de Al pré-treinados, a 
Amazon é capaz de extrair a marca e identificar qual produto você 
está pesquisando. 


Este tipo de pesquisa é útil principalmente quando você está em 
outro país e não sabe como se fala determinado palavra. Por 
exemplo, você está em busca de uma furadeira, mas não sabe 
como se chama em inglês. Basta tirar uma foto do produto 
desejado, e serão exibidos produtos relacionados. 


a ATA > 


Searching... 








See all deals U 


Figura 8.16: Pesquisando produtos por imagem 


CAPITULO 9 
Reconhecimento de tinta digital 


Em 2015, a Microsoft anunciou um novo produto para a sua linha de 
hardware Surface, o Surface Hub. Nas palavras da Microsoft: 


"O Surface Hub é um produto criado para envolver e capacitar 
equipes, unindo os espa os de trabalho físicos e digitais, porque a 
maneira como trabalhamos continua a evoluir todos os dias. Han o 
muito tempo, a ênfase estava na produtividade individual. Hoje isso 
mudou - as situa es que enfrentamos no trabalho s o mais 
complexas e resolvê-las exige uma variedade de habilidades e 
conhecimentos.” 
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Figura 9.1: Reunião de um time distribuído usando Surface Hub. Fonte: Blog APC - 
http://bit.ly/APCBlogSurfaceHub2 


Há quem diga que reuniões são uma grande perda de tempo. Em 
muitos casos, isso é uma verdade, mas em outros elas podem ser 
incríveis momentos de criatividade colaborativa que acabam 
levando muito tempo, pois gasta-se um bom tempo escrevendo e 
desenhando em um quadro branco. 


A ideia da Microsoft para este produto é reimaginar os "quadros 
brancos”, muito utilizados em reuniões e sessões de brainstorming. 
É comum grandes ideias ficarem presas no quadro branco quando a 
reunião termina. Para evitar este problema, alguém fica responsável 
por tirar uma foto do quadro para que as ideias não sejam perdidas. 
Cabe a alguém anexar a foto em uma ata de reunião ou redesenhar 
o que foi feito no quadro utilizando algum software. A proposta do 
Surface Hub é permitir que as equipes trabalhem digitalmente 
durante todo o processo criativo, facilitando a colaboração em 
tempo real sem a necessidade de digitalizar o que foi produzido 
após a reunião. 





Figura 9.2: Colaboragao usando Surface Hub. Fonte: Blog Windows - 
http://bit.ly/BlogWindowsSurfaceHub2 


A ideia é boa, mas na prática o alto custo do equipamento acaba 
inviabilizando a experiência (nos Estados Unidos, o Surface Hub 2 
custa $8000.00). E se houvesse um Serviço Cognitivo capaz de 
identificar e extrair formas e escritas feitos a mão? 


9.1 Primeiros passos com o Serviço Cognitivo de 
Reconhecimento de Tinta Digital 


No capítulo anterior, vimos que o Serviço Cognitivo de Visão é 
capaz de realizar o reconhecimento óptico de caracteres (OCR), isto 
é, extrair texto de imagens via processamento de pixel a pixel a fim 
de identificar padrões conhecidos (letras e palavras na imagem). O 


Serviço Cognitivo de Reconhecimento de Tinta exige coordenadas 
do traço de tinta digital capturados conforme o dispositivo de 
entrada é utilizado. Veja o exemplo do JSON que precisa ser 
enviado: 


{ 
"language": "en-US", 
"strokes": [ 
{ 
"id": 43, 
"points": 
"5,1365, 12.3845, 
.9534, 12.1301, 
.8618, 12.1199, 
.7906, 12.2217, 
.7906, 12.5372, 
.8211, 12.9849, 
.9534, 13.6667, 
.0958, 14.4503, 
.3299, 15.2441, 
.6555, 16.0480, 


uuu E PPP HP SF 


L 


1. Para demonstrar este serviço em ação, vamos copiar os 
arquivos config.js , InkAnalysis.js, inkHelper.js © site.js do 
diretório https://bit.ly/ExemplolnkRecognizer 


2. Em sua assinatura do Azure, crie um Serviço Ink Recognizer . 


Microsoft Azure 








Dashboard > New > Ink Recognizer (Preview) 


Ink Recognizer (Preview) 


Ink Recognizer (Preview) | 


> Microsoft 


C 


Overview Plans 





Create application experiences that combine pen and paper interaction with powerful digital capabilities. Recognize di 
inked documents for various scenarios like notetaking, form-filling, content search, and document annotation. No mac 
Useful Links 

More about Ink Recognizer 

Documentation 

Ink Recognizer SDK 

Pricing 

Regional availability 


Figura 9.3: Criando o serviço na assinatura do Azure 


3. Preencha os campos obrigatórios e aguarde até que o serviço 
seja provisionado. 





= Microsoft Azure Ø Search resources, services, and docs (G+/) 


Dashboard > All resources > New > Ink Recognizer (Preview) > Create 


Create 


Ink Recognizer (Preview) 


Name * 


exemplo-ink 


Subscription * 





| Microsoft Azure Sponsorship 





Pricing tier (View full pricing details) * 





| SO (10 Calls per second) 





Resource group * 





| rg-livro-cogservices-th 





Create new 


| confirm | have read and understood the notice below. * 


Figura 9.4: Preenchendo os campos obrigatórios 


4. Em seguida, clique sobre o menu keys ou "Chaves", caso o seu 
portal esteja em português, copie e cole a chave primária em 
um bloco de notas. Esta chave será usada para autenticar o 
envio do JSON para o Serviço Cognitivo que acabamos de 
criar. 


Dashboard > Microsoft.CognitiveServicesinkRecognizer - Overview > exemplo-ink - Keys 


Cognitive Services 


? exemplo-ink - Keys 





«< 
k CZ Regenerate Kev) CG Regenerate Key2 





( Corão AP tel 
|£ LEGrCh 1 UL 





@ Overview NAME 





Activity log | exemplo-ink 





Po Access control (IAM) 


@ Tags 


O These subscription keys are used to acce 


Ø Diagnose and solve problems can use the second key for continued ac: 








RESOURCE MANAGEMENT 
KEY 1 

&> Quick start ecaa91cce59b48f38b7f5bb049ddb7f6 

7 Keys 

{Z Pricing tier KEY 2 





€> Virtual network c3bf532ad26c4a0489d09c1e242c6068 





Figura 9.5: Obtendo as chaves para autenticação 


5. Em seu Visual Studio, crie um Projeto WEB Application e 
selecione o template MVC: Dentro da pasta wwwroot , localize a 
pasta js . Adicione os arquivos config.js, InkAnalysis.js , 
inkHelper.js @ site.js copiados anteriormente (passo 1). Abra 
o arquivo config.js e cole a chave obtida no passo 4. 


21  SampleinkBrowser - Microsoft Visual Studio YE É | Quick Launch (Ctrl+Q) Pla BH x 
File Edit View Project Build Debug Team Tools Test Analyze Window Help 








0-0| -2 W|I- C-| Debug ~ Anr CBU -| > USEpressy G -| ft E) ajA aa, 
E] SampleinkBrowser JavaScript Content Files -|@ <global> - 
1 // Service endpoint configurations 
2 
3 SERVER ADDRESS = “https://api.cognitive.microsoft.com"; 
4 ENDPOINT URL = SERVER ADDRESS + "/inkrecognizer/vl.0-preview/recognize"; 
5 SUBSCRIPTION KEY = “SUA SUBSCRIPTION AQUI"; 
6 
Z // Languages for user to try 
8 | LANGUAGE TAGS TO TRY = [“en-US", "de-DE", |"fr-FR", "hi-IN", "ja-JP", “zh-CN"]; 
9 
19 // Window.devicePixelRatio could change, e.g., when user drags the window 
11 //to a display with different pixel density, 
12 // however, there is no callback or event available to detect the change. 
13 // In this sample, we assume devicePixelRatio doesn't change. 
14 PIXEL_RATIO = window.devicePixelRatio; 
15 MILLIMETER_PER_INCH = 25.4; 
16 PIXEL_PER_INCH = 96; 

17 MILLIMETER_TO_PIXELS = PIXEL_PER_INCH / (MILLIMETER_PER_INCH * PIXEL_RATIO); 
18 PIXEL TO MILLIMETERS = MILLIMETER PER INCH * PIXEL RATIO / PIXEL PER INCH; 
Figura 9.8: Configurando a chave de autenticação 
New ASP.NET Core Web Application - SamplelnkBrowser ? x 


The NET Core SDK is installed in multiple locations. Only templates from the SDK(s) installed at ‘C:\Program Files\dotnet\sdk\' will be 
_ displayed. Learn more 








| .NET Core L | ASP.NET Core 2.2 Y | Learn more 
@ A project template for creating an ASP.NET Core 
A | GS Q | Em application with example ASP.NET Core MVC Views 
and Controllers. This template can also be used for 
Empty API Web Razor Class RESTful HTTP services. 
Application Library 
Learn more 
Angular Reactjs Reacts and 
Redux 
Author: Microsoft 
Source: SDK 2.2.300 
Get additional project templates Authentication: No Authentication 
[C] Enable Docker Support (Requires Docker for Windows) Change Authentication 
OS: Windows 


[¥] Configure for HTTPS 





Figura 9.7: Selecione 0 Template MVC 


New Project 


b Recent ^ Sort by: | Default -| 5 


4 Installed 
srs ASP.NET Core Web Application Visual C# 


4 Visual C# 
Get Started ASP.NET Web Application (.NET Framework) Visual C# 
Windows Desktop 
> Web 
NET Core 
NET Standard 


ea ©] DB 


Clean Architecture Visual C# 


Cloud 
Test 
WCF 


v 


Visual Basic 


v 


Visual F# 


SQL Server 


v 


Azure Data Lake 


~ 


Not finding what you are looking for? 


Open Visual Studio Installer 


Type: Visual C# 


Project templates 
Core applications 
macOS using .NE 
Framework. Crea! 
Web API, and Sin 
Applications 


Name: [SampleinkBrowse SS 

Location: ic \Users\thiag\source\repos Browse. 

Solution: [Create new solution vi 

Solution name: SampleinkBrowser Create directory | 


[] Create new Git re 


Figura 9.6: Novo projeto do tipo Web Application 


6. Copie o conteúdo do arquivo sample.htmi do repositório 


https://bit.ly/ExemplolnkRecognizer e sobrescreva o conteúdo 


do arquivo Index.cshtml da pasta views/Home . 


7. Execute a aplicação e escreva um texto utilizando o seu mouse, 
clique no botão recognize para que a página envie o conteúdo 


para o Serviço Cognitivo e receba a resposta: 


VUUTIUTIYGNCLLANIYIC - 1 


"height": 35.20000076293945, 
“topX": 32.540000915527344, 
“topY": 32.13999938964844, 


— "width": 138.1199951171875 
s L 
“category”: "inkWord", 


"class": "leaf", 





"rotatedBoundingRectangle": [ 
{ 
"x": 33.529998779296875, 
"y": 28.280000686645508 
} 


Figura 9.9: Resultado do texto reconhecido pelo Serviço Cognitivo 


O que vimos neste capítulo pode ser encontrado no app Al 
Whiteboard (http://bit.ly/AlWhiteboard), disponível para Android, 
IOS, web e desktop, onde o que é criado via aplicativo pode ser 
compartilhado em tempo real com outras pessoas e é salvo 
automaticamente. Essa mesma funcionalidade também foi 
adicionada ao aplicativo Teams da Microsoft, permitindo que 
reuniões feitas pelo programa sejam mais dinâmicas. 


CAPITULO 10 
Conhecendo o Serviço Cognitivo Video Indexer 


Vocé ja precisou assistir a um video inteiro para achar em qual parte 
determinada frase foi dita? Quando se tem tempo disponivel para 
isso, nao ha problema, mas e quando precisamos achar alguma 
informagao com urgéncia? 


O Serviço Cognitivo Video Indexer foi criado justamente para esta 
demanda. Extrair informação de arquivos de media (vídeo/áudio). 
Com ele, podemos: 


identificar pessoas que aparecem no vídeo 

identificar marcas que aparecem no vídeo (via OCR) 

obter um transcript de todas as falas do vídeo 

identificar em qual idioma as falas foram ditas 

realizar redução de ruído no áudio (tomadas em ambientes 
externos por exemplo) 

obter closed caption (legenda em tempo real) 


Entre diversas outras features disponíveis. 


Audio effect: Ñ 
Emotion 
Sentiment O = 
analysis D = 
Fs) Transcoding Ñ le Es E 
titit 
Languag . 
Ñ. Ei Ñ Ñ. mas von D Keyword 
traction 
Voice activity [BB Speak - 
detection a B g modeling D 
Start 
OCR Ñ 
Be ias cede 
D B G Fac E 
de cio Ñ R -p Ñ : =B g.. ntificati -B 
lens Sa 
Shot Ki diiris rame 
segmentatio! HE me 
Labels B 
Rolling credits 
Detection 


Vision analysis 





Figura 10.1: Fluxograma de como o serviço funciona 


Como mostra o diagrama, primeiro é necessário efetuar o upload do 
arquivo de áudio ou vídeo, que em seguida passa por um processo 
onde as análises são feitas. Após a conclusão deste processo, 
podemos pesquisar por determinada palavra, se ela consta no 
arquivo enviado, se existem celebridades presentes no vídeo, em 
quais momentos elas aparecem, entre outras features. 


10.1 Provisionando o serviço 


Antes de seguir para o nosso exemplo, precisamos criar uma conta 
no site videoindexer.ai . Para isso, basta clicar sobre o link "Inscreva- 
se gratuitamente” e, em seguida, selecionar uma das opções para 
autenticação: 


e Microsoft Account (Pessoal) 
e Microsoft Account (Business) 
e LinkedIn Account 


e Google Account 
e Facebook Account 


Feito isto, teremos acesso ao portal abaixo: 


i i i + Create new account é Trial 
Azure Media Services | Video Indexer | + Create new account | tcustodio-63260e 


Find the exact moments you're looking for by text, by person, or even by object. 


Find topics Find people 


O Search for text, keywords, or visual content O Search for people and celebrities 





Library Projects Sample videos T Upload O Refresh 


Upload your first video 


Figura 10.2: Screenshot do Portal Video Indexer 


Em seguida, efetue o upload de algum vídeo clicando sobre o link 
upload . O envio pode demorar alguns minutos, devido ao 
processamento que ocorre. O tamanho do arquivo / duração do 
vídeo também são fatores que influenciam no tempo para que o 
processamento seja concluído. No meu caso, enviei vídeos de uma 
audição do The Voice Australia: 


Find the exact moments you're looking for by text, by person, or even by object. 


Find topics Find people 


Pp Search for text, keywords, or visual content ES Search for people and celebrities 





Library Projects Sample videos T Upload O Refresh 





Blind Audition Brock Ashb... C Major Sings Crazy In Lo... 


Figura 10.3: Screenshot dos videos enviados para 0 Video Indexer 


Clicando sobre a miniatura, somos redirecionados para uma outra 
tela, onde é possível assistir ao video. Ao lado do player temos duas 
abas para navegação, Insights © Timeline: 





Account 
i i i + Create new account r 
Azure Media Services | Video Indexer thiagocustodio-56e... 


nsights Timeline 





Autoscroll off 
00:00:00 This is where we begin 
All the lights went down 


that | could use somebody 


You know that | could have 





thank you know 


23S SRNO 00:01:54 was looking 





0:01 / 7:18 ome Ser ee) er) 


00:02:22 Uh because | didn't turn around. 


Blind Audition Brock Ashby "Use Somebody' The Voice AU 2018 MEE You know Siar themes tastes 
| Private v | o too mar y o s already on your team. 


P Embed Z Download D Open in editor 





00.0230 t's fine. There's alwavs room for another acad lookina 


Figura 10.4: Screenshot de parte dos insights extraídos do vídeo 


Clicando na aba Insights , temos uma lista das pessoas 
identificadas e uma breve biografia para os casos de celebridade: 


t s Z 


Insights Timeline 








p Search 
30 People bad 
006900060 - 
Kelly Rowland O 
American Singer 
Appears in 38.28% of video Show biography ~ 
Find on Bing 
| I EHN l Ñ 111 III 11 1118 1 
Play next >| 


|4 Play previous 


Figura 10.5: Screenshot de parte dos insights extraidos do video 


Repare que, abaixo da foto, existe uma barra cinza com 
demarcações na cor preta. Ao clicar sobre elas, o vídeo salta para o 


momento em que a pessoa aparece: 


Insights Timeline 





30 People 


0059000600 - 


Kelly Rowland O 
American Singe 
Appears in 38.28% of video Show biography 





Find on Bing 
| Pri | R 111 III 1 Hid 1 
14 Play previous Play next >| 


$3 §NOVY 


129/718 oo a © 2 





14 Tanire 


Figura 10.6: Screenshot de parte dos insights extraídos do vídeo 


Selecionando a aba Timeline ao lado do player de vídeo, temos a 
transcrição do que foi dito no vídeo e em qual minuto/segundo 
aconteceu: 


Insights Timeline t O S$ 2 


O Search Autoscroll off 
00:00:00 This is where we begin. 
00:00:07 All the lights went down. 
00:00:53 that | could use somebody. 
00:01:00 You know that | could have 
00:01:13 thank you know 
00:01:54 | was looking 
00:02:22 Uh because | didn't turn around. 
00:02:26 You know it does is probably better that way you have 


too many good looking guys already on your team. 


Figura 10.7: Screenshot do transcript das falas do video 


Vamos agora aprender como consultar termos presentes nos videos 
via programação. 


10.2 Obtendo a Account Id e API Key 


Para uso da API REST, precisamos obter a Account Id e API Key. 
Para isso, acesse o portal videoindexer.ai: 


Account 
Azure Media Services Video Indexer + Create new account . E Trial RM 
| thiagocustodio-d11... i 


Find the exact moments you're looking for by text, by person, or even by object. 


Sign out 












Find topics Find people 






Ø Search for people and celebrities 





pP Search for text, keywords, or visual content 





Figura 10.8: Screenshot de configurações da conta 


Em seguida, clique sobre o link Settings e, em seguida, sobre o link 
Account para obter o Account Id: 





E E 2 Account 
Azure Media Services | Video Indexer + Create new account 
thiagocustodio-d11.-.. 


Settings 


User ‘Account! 





Account name 


thiagocustodio-d11d3f 2 


O The e-mail associated with this account is thiago.custodio@hotmail.com. 


Account ID 


Account upload limit 0/2400min 


ij Delete this account 


Figura 10.9: Screenshot mostrando como obter a Account Id 


Para obter a API Key, precisamos acessar a URL https://api- 
portal.videoindexer.ai/products. 


Em seguida, selecione a aba Products e clique sobre o botão 
Subscribe . Feito isto, suas chaves primárias e secundárias estarão 
disponíveis. 


Observação: as chaves devem ser protegidas e ser utilizadas 


somente em códigos que são executados no lado do servidor. 





Agora, basta clicar sobre o link Product Authorization subscription : 


Video Indexer Developer Portal 


HOME APIS PRODUCTS ISSUES 


Authorization 
Videolndexer Authorization API 
This product contains 1 API: 


e Authorization 





Add subscription 


THIAGO FERNANDES CUSTODIO ~ 





Figura 10.10: Screenshot mostrando como acessar as chaves de autorização 


E, em seguida, obter a chave primária ou secundária para o uso da 


REST API. 


Video Indexer Developer Portal 


HOME APIS PRODUCTS ISSUES 


Profile 
Email Thiago Fernandes CustodioDepam.com 
First name Thiago 
Last name Fernandes Custodio 


Your subscriptions 


Subscription details 


Product 


Subscription name Product Authorization subscription Rename Authorization 
Primary key XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Regenerate 
Secondary key XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX Show | Regenerate 


Looking to close your account? 


Close account 


State 


Active 


THIAGO FERNANDES CUSTODIO ~ 





ali Analytics reports 


Action 


X Cancel 


Figura 10.11: Screenshot mostrando a Chave primária ou secundária para uso da API 
REST 


10.3 Criando a aplicagao de teste 


Vamos criar uma nova Aplicação Console. Na classe Program.cs , 
vamos adicionar o namespace system.Net.Http . Em seguida, vamos 
criar variáveis para armazenar informações referentes à conta que 
criamos anteriormente no Video Indexer: 


var apiUrl = "https://api.videoindexer.ai"; 

var location = "trial"; 

var accountId = "(COLOQUE SUA ACCOUNT ID AOUT YL": 
var apikey = "(COLOQUE SUA API KEY AQUI)"; 


Temos que especificar que queremos usar a versão 1.2 do protocolo 
TLS como padrão, dado que a versão 1.0 foi aposentada: 


System.Net.ServicePointManager.SecurityProtocol = 
System.Net.ServicePointManager.SecurityProtocol | 
System.Net.SecurityProtocolType.T1s12; 


Agora, vamos instanciar um objeto do tipo HttpclientHandler 
desabilitando http redirects, e vamos passar via construtor para um 
objeto do tipo Httpclient , que fara o envio da requisição para a API 
REST: 


var handler = new HttpClientHandler(); 
handler.AllowAutoRedirect = false; 


var client = new HttpClient(handler) ; 
client .DefaultRequestHeaders.Add("Ocp-Apim-Subscription-Key", apikey); 


O header ocp-apim-subscription-Key é responsável por 
autorizar/bloquear as requisições http para a API REST do Video 


Indexer. Se a chave for inválida, a API retornará uma resposta 
com o código 401 (não autorizado). 





Com as configurações definidas, precisamos agora obter um token 
de acesso a API e efetuar a pesquisa pelo termo desejado: 


var accessTokenUrl = $" 
fapiUrl)/auth/(location)/Accounts/(accountId)/AccessToken? allowEdit=true” ; 
var accountAccessTokenRequestResult = 

client .GetAsync(accessTokenUr1).Result; 

var accountAccessToken = 
accountAccessTokenRequestResult.Content.ReadAsStringAsync().Result.Replace 


LT, T) 


Console.WriteLine("Digite o termo a ser pesquisado:"); 
var searchText = Console.ReadLine(); 


var apiPrefix = $"(apiUrl)/(location)/Accounts"; 

var queryString = $"accessToken={accountAccessToken }&scope=account&query= 
{searchText}"; 

var searchUrl = $"{apiPrefix}/{accountId}/Videos/Search? {queryString}"; 
var searchRequestResult = client.GetAsync(searchUrl).Result; 

var searchResult = searchRequestResult.Content.ReadAsStringAsync().Result; 


Console.WriteLine(searchResult) ; 
Console.ReadLine(); 


Ao executar a aplicação, pesquisei pelo termo "God" (presente no 
vídeo enviado para o Video Indexer): 


IE! C:\Program Files\dotnet\dotnet.exe = D x 
Digite o termo a ser pesquisado: A 
God 
("results": [{"accountId" : "56eda193-5de5-4927-ae4e-63e8afad87a9", "id": "@341211f69", "partition":null, "externalId 
“null, "metadata":null,"name":"C Major Sings Crazy In Love - The Voice Australia 2014","description":null, "cre 
ated":"2019-12-19701:20:47.361+00:00","lastModified":"2019-12-19701:30:58.293+00:00","lastIndexed":"2019-12-19 
T01:20:55.557+00:00" a ee co Le “userName" :"" Ra Se a E t 
rue, "state": "Processed", "moderationState": "OK", "reviewState": "None", "processingProgress": "100%", "durationInSec 
onds":470, “thumbnai lVideoId": "034121169" | "thumbnail Id": "d9a8998f-eccé- -4607-a9a5-03570501a9ab", "searchMatches" 
:[("startTime":"00:00:14.7620000","type":"Transcript","text":"to go to explain still","exactText":"go"), ("star 
tTime":"00:02:03.0400000","type":"Transcript","text":"My my artist Legacy Major I go by C major support OK","e 
xactText":"go"),("startTime":"00:02:12.5770000","type":"Transcript","text":"I keep on going Oh", "exactText": ng 
oing"),("startTime":"00:02:21.4070000","type":"Transcript","“text":"Oh my God you just got 10 times sexier righ 
t there","exactText":"God"),("startTime":"00:03:27.4890000","type":"Transcript","text":"I'm like Oh my God","e 
xactText":"God"},{"startTime": "@0:03:31.9370000", "type": "Transcript", "text": "they're never going to mistake a 

for looking at it","exactText":"going"),("startTime":"00:04:07.2500000","type":"Transcript","text":"This is h 
ow it goes you got us going you know your voice is amazing and you go in every direction","exactText":"goes"), 
{"startTime":"00:04:11.7580000", "type": "Transcript", "text": "You went from pop too", "exactText":"went"},{"start 
Time" :"00:06:59.0300000", "type": "Transcript", "text":"I think I'm going to have to","exactText":"going"},{"star 
tTime":"00:07:04.6000000","type":"Transcript","text":"Go to Ricky", "exactText":"Go"}], "indexingPreset": "Defaul 
t", "streamingPreset": "Default", "sourceLanguage": "en-US", “sourceLanguages": ["en-US"], "personModelId" : "95478@d3- 
eca@-429b-9d@a-aG1fb2b3d23c"}, L "account Td": "56eda193-5de5-4927-ae4e-63e8afad87a9", "id": "b3a51d6425", "partition 
":null, "external id": nul). "metadata":null,"name":"Blind Audition Brock Ashby 'Use Somebody' The Voice AU 2018", 
“description":null,"created":"2019-12-19701:35:02.652+00:00","lastModified":"2019-12-19701:48:43.663+00:00","1 
astIndexed":"2019-12-19701:35:09.528+00:00","privacyMode":"Private","userName":"" "isOwned":true,"isBase":true 
»"hasSourceVideoFile":true,"state":"Processed","moderationState": "OK", "reviewState": "None", "processingProgress 
":"100%", "durationInSeconds":438, "thumbnailVideoId" :"b3a51d6425", "thumbnaillId" : "2acca675-@3c6-4751-b4d5-ffb5bc 
e2089d","searchMatches": [{"startTime":"90:00:06.5999000", "type": "Transcript", "text":"All the lights went down" v~ 








Figura 10.12: Screenshot do resultado da aplicação 


Dentro do JSON de resposta, temos uma propriedade searchmatches 
que possui o momento exato em que o termo aparece: 


"moderationState": "OK", 
"reviewState": "None", 


"processingProgress": 


"durationInSeconds": 
"thumbnailVideoId": 
"thumbnailId": 
"searchMatches": [{ 

"startTime": 


"100%", 


470, 
"0341211f69", 
"d9a8998f-0cc6-4607-a9a5-03570501a9ab”", 


"00:00:14.7620000", 


"type": 
"text": 


m 


"exact 


}, { 


"Transcript", 
"to go to explain still", 
" g o 


ext": 


"startTime": "00:02:03.0400000", 


bd < ype " G 
LONE: 
"exactT 


+ + 


"startTime": 
"type T Ç 
"text": 


"Transcript", 

"My my artist Legacy Major 
Text": "go" 
"00:02:12.5770000”;, 
"Transcript", 

"I keep on going Oh", 





"exactText": 
}, { 
"startTime": 
"type": 
TCOXC 
"exactText": 


"goi ng" 


"00:02:21.4070000", 


"Transcript", 
"Oh my God you just got 10 times sexier right there", 


"God" 


I go by C major support OK", 


Figura 10.13: Screenshot do JSON formatado 


10.4 Casos de uso e aplicagoes 


Alguns anos atras, uma startup chamada Boo-box criada pelo 
mineiro Marcos Gomes ganhou diversos prémios e destaque nas 
midias especializadas. A proposta era extrair insights de posts de 
blog e exibir propaganda que estivesse relacionada com o conteudo 
do blog. Marco Gomes conta que a ideia surgiu após ver a modelo 
Gisele Bundchen usando um BlackBerry, uma bolsa Louis Vuitton e 
um ténis All Star, ele pensou: "Por que nao explorar esse conteudo? 
Vocé clicaria na foto e compraria o produto". 


Você pode ler mais sobre a Boo-box através do link: 


https://glo.bo/2ZRjBab 





Usando o Serviço Cognitivo Video Indexer, é possível fazer a 
mesma coisa, mas com o conteúdo presente em vídeos. Você 
poderia exibir banners ou recomendações baseadas no assunto do 
vídeo ou recomendar determinado produto. 


CAPITULO 11 
Introdução ao conceito de mineração de 
conhecimento 





Figura 11.1: Como encontrar informação em dados não estruturados? 


Em meados de 2007, Business Intelligence (ou Bl) estava se 
popularizando em empresas de médio e de grande porte. Como 
99% das empresas armazenavam seus dados em bancos de dados 
relacionais, especialistas começaram a cruzar as informações das 
tabelas em uma outra tabela desnormalizada, ou seja, sem 
necessidade de realizar joins com outras tabelas para produzir o 
resultado desejado. 


Um clássico exemplo é o de uma rede de supermercados, que 
identificou que o consumo de cerveja e de fraldas descartáveis 
crescia nos dias de jogo de futebol. O que eles fizeram? 


Organizaram as prateleiras do supermercado nestes dias, de modo 

a aproximar estes dois produtos em uma espécie de venda casada, 

identificada gragas a analise do historico de compras agrupadas por 
dia. 


Encontrar dados armazenados em tabelas é uma tarefa comum nos 
dias de hoje, mas como fazer para encontrar informação em dados 
que estão armazenados em imagens, vídeos, arquivos JSON, áudio 
e/ou bancos de dados não relacionais? 


Existem produtos que fazem isso para alguns destes formatos de 
maneira automática, como é o caso do Microsoft Sharepoint, capaz 
de extrair informações de arquivos do pacote Office (Word, Excel, 
Powerpoint) e de arquivos em formato PDF. No entanto, o custo 
atrelado a este produto muitas vezes inviabiliza estes insights em 
empresas de pequeno porte. 


11.1 Entendendo como uma engine de busca 
funciona 


Na grande maioria das aplicações, são efetuadas muito mais 
leituras do que escritas. Por esse motivo, precisamos armazenar as 
informações de maneira que a leitura seja otimizada. Como vimos 
no começo do capítulo, para produzir relatórios otimizados, muitas 
vezes os dados de diversas fontes são concentrados em uma única 
tabela, com o objetivo de reduzir o número de joins e, por 
consequência, fornecer um menor tempo de resposta. 


Para busca textual, existem algoritmos e estruturas de dados que 
foram desenhados para estes cenários. Por exemplo, um dicionário 
de qualquer idioma possui termos ordenados em ordem alfabética e 
sem nenhuma repetição. Logo em seguida, uma explicação do que 
o termo significa e, em alguns casos, os possíveis sinônimos. Para 
encontrar determinado termo, basta localizar em qual página a 


primeira letra do termo se encontra, e procurar linha a linha pelo 


termo desejado: 


Da mesma maneira, em alguns livros técnicos, é possível encontrar 


um glossário nas últimas paginas com os principais termos e em 


quais páginas eles aparecem: 


«NET Compiler Platform - NumberFormatinfo class 





“NET Compiler Platform, 511-539 
advantages, 511-512 
code refactoring, 532-539 
code transformation, 525-531 
pipeline phases, 513 
semantics analysis, 522-525 
syntax analysis, 513-522 
«NET Core, 8-12 
Command Line, 19-23 
compiling applications with CLI, 19-22 
resource files, 834-835 
resource readers and writers, 832-833 
.NET Framework, 10-11 
DOM implementation, 791-794 
XML standards support, 783-784 
«NET Native, 15 
net .exe utility, 1209 
NetHttpBinding, 1382, 1384, 1386 
NetMsmgBinding, 1382, 1383 
NetNamedPipeBinding, 1382, 1383 
Net PeerTcpBinding, 1382, 1383 
Net TcpBinding, 1382, 1383, 1391, 1398 
NetTcpContextBinding, 1382 
networking 


TCP client, creating, 730-734 
vs. UDP, 734 
UDP (User Datagram Protocol), 
734-739 
multicasts, 739 
receivers, 735-736 
senders, 736-738 
vs. TCP, 734 
utility classes, 716-720 
Dns, 719-720 
IPAddress, 717-718 
IPHostEntry, 719 
Uri, 716-717 
UriBuilder, 716-717 
WebListener class, 712-715 
NetworkStream class, 721-727, 742-744 
NetworkStream object, 651 
neutral cultures, 821-822, 826-830, 845 
new keyword, 40, 74, 89 
new modifier, 114 
NotifyDataErrorInfoBase class, 
1082-1083 
NotRunning state, 992 
npm (Node Package Manager), 


Figura 11.2: Exemplo de Glossario 


Alguns anos atras, eu recorria a busca do site da Amazon ou 


Google Books para encontrar qual livro tinha o termo que eu estava 


procurando. Hoje as principais editoras ja oferecem esta 
funcionalidade para facilitar a compra do livro correto, como é o 


caso da editora Manning: 


ABE MANNING PUBLICATIONS  standardAnavzer x Q anu El 


all products MEAP liveVideo liveBook liveAudio support contact free content forums 


All liveAudio combos half off! 


7 products found sort: best match 
Mahout in Action 
$35.99 


Algorithms of the Intelligent Web Hibernate Search in Action 





Lucene in Action, 2nd ed. Collective Intelligence in Action 
$39.99 Collective $35.99 
nae ntelligence < -og 

or 


RavenDB in Action 





Teming Text 
$35.99 





Figura 11.3: Pesquisa pelo conteúdo do livro no site da Editora Manning 


Se você teve a curiosidade de pesquisar sobre algum termo nos 
sites citados acima, deve ter reparado que o tempo de resposta é 
absurdamente rápido. E o motivo é que o conteúdo já está 
previamente indexado em um engine de busca. 


Uma engine de busca implementa a estrutura de dados conhecida 
como índice reverso, que, na prática, nada mais é do que um 
glossário com os termos únicos, e em quais documentos eles estão 
presentes. Além do índice reverso, algoritmos para apresentar os 
resultados mais relevantes, trabalhar com sinônimos, recomendar 
buscas (recurso como o "você quis dizer" oferecido pelo Google), 
busca por geolocalização também estão disponíveis em engines de 
busca modernas. Não é meu objetivo abordar este assunto a fundo 
neste livro, mas caso você tenha interesse, estas são as principais 
engines de busca utilizadas no mercado: 


e Apache Solr 


e Elasticsearch 
e Azure Search 


Se vocé conhece um pouco deste assunto, também ja deve ter 
ouvido falar da biblioteca Apache Lucene, que encapsula os 
principais algoritmos utilizados neste mundo de pesquisa textual 
e é amplamente utilizada nas engines acima. A editora Casa do 


Código possui um livro sobre a engine de busca Apache Lucene, 
escrito pelo autor Marco Reis. Para saber mais, visite o site: 


https://www.casadocodigo.com.br/products/livro-apache-lucene. 





11.2 Visao geral do Azure Cognitive Search 


Em agosto de 2014, uma das novidades apresentadas pela 
Microsoft foi o langamento do Azure Search. A proposta era oferecer 
uma engine de busca ofertada como Plataforma como Serviço, ou 
seja, fica sob sua responsabilidade o envio dos dados e modelagem 
dos índices, e a administração, por conta da Microsoft. 


Além da administração, o serviço também oferece: 


e Ordenação; 

e Filtragem; 

e Agrupamento (facets); 

e Correção ortográfica; 

e Destaque de termos (highlight); 

e Busca por proximidade (geolocalização) 









Sp, Azure Search AVAILABLE JOBS pees E ra rch 


DATA AND BUSINESS 





ANALYST 





Strategy & Analytics 
DATA AND BUSINESS ANALYST 


= Za 
“eae 
R HO Bs ter war? c a ni 
L rere : rand ay 
Performance Mgmt. & Analyt aa Town K 
erformance Mgr nalytics 7 d d AA m A 


Technology and Analytics Trainer o me R 
RAY! BON wo Jersey City < +» 
Performance Mgmt. & Analytics A 1 
Workforce Data Analyst/Statistician Z We aed within Aa 
Data Analytics Center L A y“ 0 
Ihe - suo x p EPE Merosot Cofperme? o oio AERE 
» Policy Analyst (6 Suggestions Brookin = Setor 


180 AVAILABLE JOBS 





» Procurement Analyst (6 
> Change Order Analyst (4 


> Claiming Analyst, Bureau of Budget and Relevance R an k in g c EE 2 3 4 


4 5 > 
Revenue (4) 
> Junior Claiming Analyst, Bureau of Budget and 4 ER Budget Analyst, Family and Child Health Administration 
Ma 42-09 28th Street 
Revenue (4) m 
[V 


Salary: $45,358 to $61,754 Annual 
> Junior Tax Credit Analyst (4) 


“OPEN TO PERMANENT STAFF ANALYSTS ONLY. Under the direction of the Director of Budget 









> PMO ANALYST (4) 
for DFCH, duties of the Budget Analyst will include but not be lir 


> 421-a Analyst (2 Personnel Services (PS) and Other Than Personnel Ser 


> ANCP Project Manager / Junior Underwrite 


LOCATION EM a S. ea 
92 


Hit H lighlighting 


Salary: $45,174 to $62,370 An 


Figura 11.4: Recursos disponiveis no Azure Search 


Em meados de 2017 a Microsoft incorporou a engine de busca 
Azure Search modelos pré-treinados de Al para extrair informações 
de dados nao estruturados e enriquecer o indice reverso. Em outras 
palavras, os Serviços Cognitivos estudados ao longo do livro fazem 
parte de um pipeline que extrai informações dos seus arquivos e são 
enviados e armazenados no índice do Azure Search que, por sua 
vez, oferece uma pesquisa rica aos usuários. Este padrão é 
conhecido como "Cognitive Search Pattern" e funciona da seguinte 
maneira: 


Ingestão de informações; 
e Enriquecimento por uso dos modelos pré-treinados de Al; 
e Exploração das informações. 


Ingestão Enriquecimento Exploração 





Figura 11.5: Padrão Cognitive Search 


No evento Microsoft Ignite de 2019, a Microsoft anunciou que o 
serviço então chamado de Azure Search foi rebatizado para Azure 
Cognitive Search. Além desta mudança de nome, novos modelos Al 
foram adicionados. 


Você pode assistir à palestra através do link: 


https://myignite.techcommunity.microsoft.com/sessions/81078 





11.3 Provisionando o Azure Cognitive Search 


Antes de mais nada, precisamos criar o serviço em nossa assinatura 
no Microsoft Azure. Para isso, clique sobre o ícone + create a 


resource G digite Azure Cognitive Search : 


= Microsoft Azure D Search resources, services, and docs (G+/) IIE) K e W O ico 


Dashboard > New > Azure Cognitive Search 





Azure Cognitive Search 
Microsoft 


Azure Cognitive Search © save for jater 


Microsoft 


Overview Plans 





Al-powered cloud search service for mobile and web app development 


Azure Cognitive Search (formerly Azure Search) is the only cloud search service with built-in artificial intelligence (Al) capabilities that enrich all types of information to easily 
identify and explore relevant content at scale. It uses the same integrated Microsoft natural language stack that Bing and Office have used for more than a decade, and 
prebuilt Al APIs across vision, language, and speech. 


Azure Cognitive Search Features: 


e Fully managed search as a service to reduce complexity and scale easily 

* Auto-complete, geospatial search, filtering, and faceting capabilities for a rich user experience 

© Built-in Al capabilities including OCR, key phrase extraction, and named entity recognition to unlock insights 
e Flexible integration of custom models, classifiers, and rankers to fit your domain-specific needs 


Figura 11.6: Criando o serviço Azure Cognitive Search 
Em seguida, preencha os campos obrigatórios: 


e Assinatura 

e Grupo de recursos 

e URL (nome do serviço) 
e Local 

e Camada de preços 


Para fins educacionais, selecionei a camada de preços básica. 
Em ambientes de produção, a camada padrão deve ser utilizada 


pois ela oferece mais espaço para armazenamento e suporte 
para a criação de mais índices e um SLA melhor. 





Microsoft Azure Ø Search resources, services, and docs (G+/) fy K $03 





Dashboard > New > Azure Cognitive Search > New Search Service 


New Search Service 


Basics Scale Tags Review + create 





Project Details 


Subscription * Microsoft Azure Sponsorship Vv 


Resource Group * | rg-livro-cogservices-th Vv | 











Create new 


Instance Details 
URL* O 


Location * South Central US Vv 














Pricing tier * © Basic 
2 GB, max 3 replicas, max 1 partitions, max 3 search units 
Change Pricing Tier 


Review + create Next: Scale 


Figura 11.7: Preenchendo os campos obrigatórios 


Após o preenchimento dos campos obrigatórios, o Azure fara uma 
validação a fim de identificar se não existem limitações na 
assinatura e se o nome do serviço (URL) ainda continua disponível: 





Microsoft Azure Ø Search resources, services, and docs (G+/) 





Dashboard > New > Azure Cognitive Search > New Search Service 


New Search Service 


“4 Validation Success 


Basics Scale Tags Review + create 


Basics 

Subscription Microsoft Azure Sponsorship 

Resource Group rg-livro-cogservices-th 

Location South Central US 

Account Name (new) th-cognitive-search 

Pricing tier basic (2 GB, max 3 replicas, max 1 partitions, max 3 search units) 
Scale 

Replicas 1 

Partitions 1 


Download a template for automation 


Figura 11.8: Validação dos valores preenchidos 


Por fim, basta selecionar o botão create, aguardar pelo 
provisionamento e clicar sobre o botão Go to Resource : 


Dashboard > Microsoft.Search - Overview 


* Microsoft.Search - Overview 


oe Deployment 
v Im Delete (h Redeploy oO Refresh 
se Overview s 
@ Your deployment is complete 
EJ Inputs 
a| Deployment name: Microsoft.Search Start time: 1/20/2020, 1:27:25 PM 
Outputs Subscription: Microsoft Azure Sponsorship Correlation ID: 60846604-c617-4bd2-8178-10de75643d31 
o Resource group: rg-livro-cogservices-th 
Template 


v Deployment details (Download) 


A^ Next steps 


Go to resource 


Figura 11.9: Confirmação do provisionamento do serviço 


11.4 Criando um índice reverso e enviando dados 


O Azure Cognitive Search possui integração com diversos outros 
serviços do Azure para fontes de dados. Podemos extrair os dados 
destes serviços sem escrever sequer uma linha de código e, para 
isso, basta selecionar a opção Import data na página principal do 
Azure Cognitive Search: 


— Microsoft Azure Ø Search resources, services, and docs (G+/) 





Dashboard > Microsoft.Search - Overview > th-cognitive-search 


a th-cognitive-search Documen 
Search service 


+ Add index Ë Search explorer Ç) Refresh [li] Delete — Move 


Le) Get 99.9% availability guaranteed with 3 replicas or more. > 





© Overview RTT 
Essentials y 
Ñ Activity log ~ 
' | Usage Monitorin Indexes Indexers Data sources  Skillsets 

Pa Access control (IAM) l  _Msage g 
o Tags 
@ Diagnose and solve problems l) Storage Indexes Indexers 

l Current Current Current 
Settings | 0B 0 0 

| Quota Quota Quota 
@ Quick start 

0% 2 GB 0 15 0 15 

L Keys 
ÑZ scale 
EA] Search traffic analytics 
% Identity 
= . i . Replicas l l 
== Properties H Data sources 1 Learn more 

} Current 

Locks | Partiti n 
s | 0 1 si Ñ Documentation 
Export template | Quota 
0 15 Search units Samples 
Monitoring } 1 
= } Documents 9 Feedback 
Alerts 
0 


fil Metrics 


Figura 11.10: Iniciando o fluxo para importação de dados 


Na tela seguinte, podemos escolher entre conectar o Azure 
Cognitive Search com alguma fonte de dados existente em nossa 
assinatura, ou podemos aproveitar o momento para criar novos 
recursos que servirão como fonte de dados. Para fins didáticos, vou 
utilizar a opção samples. 


Import data 


Connect to your data 


Create and load a search index using data from an existing Azure data source in your current subscription. Azure Cognitive Search craw 
searchable content, optionally enriches it with cognitive skills, and loads it into an index. Learn more 


Data Source 


Existing data source 


Type 

= Samples 

SQL 

- Azure SQL Database 
3 


SQL Server on Azure VMs 
Cosmos DB 
Azure Blob Storage 


Azure Table Storage 


Figura 11.11: Fontes de dados disponíveis 


No passo seguinte, podemos utilizar tanto o exemplo que utiliza 
SQL Server, como o exemplo feito com Azure CosmosDB. Vou 
prosseguir com o exemplo que utiliza o Azure CosmosDB (hotels- 
sample): 


Dashboard > Microsoft.Search - Overview > th-cognitive-search > Import data 


Import data 


Connect to your data 


T 


Data Source Samples ~ 








Type Name 
SQL realestate-us-sample 
fo hotels-sample 


Figura 11.12: Selecionando a fonte de dados - hotels-sample 


No passo seguinte precisamos adicionar o Serviço Cognitivo 
responsável pelo enriquecimento dos dados. Neste momento, vou 
clicar sobre a Opção criar recurso de Serviços Cognitivos : 


Microsoft Azure Ø Pesquisar recursos, serviços e documentos (G+/) 





Painel > Grupos de recursos > rg-livro-cogservices-th > exemplo-livro-cognitive-services > Importar dados 


Importar dados 


“onectar a seus dados Adicionar habilidades cognitivas (Opcional) 


Ci) Enriqueça e extraia a estrutura de seus documentos por meio de habilidades cognitivas usando os mesmos 
algoritmos de IA que capacitam os Serviços Cognitivos. Selecione as opções de quebra de documento e as 
habilidades cognitivas que deseja aplicar aos documentos. Opcionalmente, salve os documentos enriquecidos no 
Armazenamento do Azure para que eles sejam usados em outros cenários além da pesquisa. Saiba mais 





^ Anexar Serviços Cognitivos 





Para potencializar as suas habilidades cognitivas, selecione um recurso de Serviços Cognitivos ou crie 
outro. O recurso de Serviços Cognitivos deve estar na mesma região do seu serviço de Azure Cognitive 


Search. 
À execução de habilidades cognitivas será cobrada para o recurso selecionado. Caso contrário, o número 


de execuções de enriquecimento será limitado. Saiba mais 
Atualizar 
Nome do Recurso de Serviços Cognitivos Ty Região Ty 
Gratuito (Enriquecimentos limitados) 


Criar recurso de Serviços Cognitivos 





Anterior: Conectar a seus dados Ir para: Personalizar índice de destino 


Figura 11.13: Selecionando o Serviço Cognitivo 


Basta preencher os dados obrigatórios e selecionar o checkbox para 
confirmar a criação: 


Dashboard > Create 


Create 
All Cognitive Services 


Name * 





| th-book-cognitive-search 





Subscription * 


| Microsoft Azure Sponsorship 


Location * 


| (US) South Central US 








o Location specifies the region only for included regional services. This does not specify 


Pricing tier (View full pricing details) * 
| SO 


Resource group * 





| rg-livro-cogservices-th 





Create new 


| confirm | have read and understood the notice below. * 


Figura 11.14: Provisionando o Serviço Cognitivo 


Após o provisionamento, podemos seguir para a parte de 
enriquecimento dos dados: 


Microsoft Azure Ø Pesquisar recursos, serviços e documentos (G+/) 





Painel > Grupos de rccursos > rg-livro-cogservices-th > exemplo-livro-cognitive-services > Importar dados 


Importar dados 


OD Enriqueça e extraia a estrutura de seus documentos por meio de habilidades cognitivas usando os mesmos algoritmos de 
IA que capacitam os Serviços Cognitivos. Selecione as opções de quebra de documento e as habilidades cognitivas que 
deseja aplicar aos documentos. Opcionalmente, salve os documentos enriquecidos no Armazenamento do Azure para 
que eles sejam usados em outros cenários além da pesquisa. Saiba mais 


^ Anexar Serviços Cognitivos 


Para potencializar as suas habilidades cognitivas, selecione um recurso de Serviços Cognitivos ou crie outro. O 
recurso de Serviços Cognitivos deve estar na mesma região do seu serviço de Azure Cognitive Search. 

A execução de habilidades cognitivas será cobrada para o recurso selecionado. Caso contrário, o número de 
execuções de enriquecimento será limitado. Saiba mais 


Atualizar | 


Nome do Recurso de Serviços Cognitivos Ty Região Ty 


Gratuito (Enriquecimentos limitados) 


th-book-cognitive-search centralus 





Anterior: Conectar a seus dados Ir para: Personalizar índice de destino 


Figura 11.15: Selecionando a conta do Serviço Cognitivo que acabamos de criar 


Clicando sobre o título add enrichments vamos selecionar quais 
opções queremos extrair via Serviço Cognitivo: 


e Extrair nomes de pessoas 

e Extrair nomes de organizações 
e Extrair nomes de locais 

e Extrair palavras-chaves 

e Detectar idioma 

e Traduzir texto 


Import data 


v Attach Cognitive Services 
^ Add enrichments 
Run cognitive skills over a source data field to create additional searchable fields. Learn about additional skills and extensibility here. 


Skillset name * © 





hotels-sample-skillset 


Source data field * 
Description Vv 


Enrichment granularity level © 


























Source field (default) Vv 




















Text Cognitive Skills Parameter Field name 

Extract people names people 

Extract organization names organizations 

Extract location names | locations | 
Extract key phrases keyphrases 

Detect language language 

Translate text Target Language | Portuguese Vv translated_text 








Vv Save enrichments to a knowledge store (Preview) 


Figura 11.16: Selecionando as opções de enriquecimento 


Nessa mesma tela, existe uma outra seção para armazenar os 
dados extraídos em uma espécie de cache (knowledge store). A 


finalidade seria para reaproveitar estes dados na construção de 
gráficos com Power Bl, no entanto, vou pular esta etapa pois a 
função está em modo de testes (preview). 





Em seguida, vamos para a construção do índice do Azure Cognitive 
Search: 


Dashboard > Microsoft.Search - Overview > th-cognitive-search > Import data 


Import data 


Index name * @ 


hotels-sample-index | 






























































Key * © 

Hotelld hd | 
Suggester name Search mode © 

sg analyzinglnfixMatching 

+ Add field 

Field name Type oe Filterable Sortable pr Ti Analyzer Suggester 

A Hotellid Edm.String @ [) @ o E 
HotelName Edm.String [] English - Micro... YW ] [] 
Description Edm.String [] English - Micro... v | C] 
Description fr Edm.String [] French - Micros... v | [1] 
Category Edm.String a @ English - Micro... MY a 

Tags Collection(E... @ English - Micro... v | a 
ParkingIncluded Edm.Boolean a @ 

LastRenovationDate Edm.DateTi... im g 

Rating Edm.Double @ @ 

K Address Edm.Comple... 

Location Edm.Geogra... iv @ 

K Rooms Collection(E... 


Previous: Add cognitive skills (Optional) | Next: Create an indexer 





Figura 11.17: Construindo o indice do Azure Cognitive Search 
Para cada campo disponivel precisamos informar: 


e Se o conteúdo deve aparecer na mensagem de resposta 
(Retrievable) 

e Se podemos filtrar a resposta através daquele campo 

(Filterable) 

Se podemos ordenar através daquele campo (Sortable) 

e Se podemos agrupar o conteúdo através daquele campo 

(Facetable) 

Se vamos habilitar busca textual sobre o conteúdo através 

daquele campo (Searchable) 


Como estamos trabalhando com exemplos ja criados no Azure, 


não precisamos marcar manualmente as opções para cada um 
destes campos. 





Por último, precisamos criar um indexer que de fato fará a extração 
da fonte de dados e os armazenará no índice do Azure Cognitive 
Search: 


Dashboard > Microsoft.Search - Overview > th-cognitive-search > Import data 


Import data 


Connect to your data Add cognitive skills (Optiona Customize target index* Create an indexer 


Indexer 


Name * hotels-sample-indexer| 


A A schedule can't be configured on samples or existing data sources without change 
tracking. Edit your data source to add change tracking if you wish to set up a 
schedule. 





Description (optional) 





v Advanced options 





Previous: Customize target index | 


Figura 11.18: Indexer do Azure Cognitive Search 


Basta clicar em submit e aguardar alguns segundos para que os 
dados sejam extraídos: 











+ addindex & Import data B" Search explorer © Refresh i] Delete —> Move 





Oo Get 99.9% availability guaranteed with 3 replicas or more. > 


Resource group (change) : rg-livro-cogservices-th Url : https://th-cognitive-search.search.windows.net 
Status : Running Pricing tier : Basic 

Location : South Central US Replicas : 1 (No SLA) 

Subscription (change) : Microsoft Azure Sponsorship Partitions : 1 

Subscription ID : 60845c35-8dbb-42b1-b4ca-6f8730e1be1d Search units : 1 

Tags (change) : Click here to add tags 


» 


Usage Monitoring Indexes Indexers Data sources Skillsets 


Status Ty Name Ty Last run T Docs succeeded 


© Success hotels-sample-indexer Just now 50/50 


Figura 11.19: Concluindo a extração de dados para o Azure Cognitive Search 


Como fazemos para pesquisar os dados? Basta selecionar o índice 
desejado e informar * no critério de busca: 


th-cognitive-search - Microsoft ^ x + 


Œ f @ portalazurecom 


UCS.Data.UDS Servi... Stack Overflow 


Stack Overflow 


Microsoft Azure Æ Search resources, services, and docs (G 





Dashboard > Microsoft.Search - Overview > th-cognitive-search 


a th-cognitive-search 


Search service 


Overview 


Activity log 


” E B 


Access control (IAM) 
0 Tags 


@ Diagnose and solve problems 


Settings 

@ Quick start 

? Keys 

{Z scale 

EN search traffic analytics 
% Identity 

2% Properties 

a 


Locks 














Document; 
+ Addindex # Importdata Ë Search explorer Č) Refresh [li] Delete — Move 
(s) Get 99.9% availability guaranteed with 3 replicas or more. > 
Re p (change) : rg-livro-cogservices-th Url : https://th-cognitive-search.search.windows.net 
Status : Running Pricing tier : Basic 
Location : South Central US Replicas : 1 (No SLA) 
Subscription (change) : Microsoft Azure Sponsorship Partitions : 1 
Sub tion ID : 60845c¢35-8dbb-42b1-b4ca-6f8730e1be1d Search E | 
Tags (change) : Click here to add tags 
A 
Usage Monitoring ndexers Data sources  Skillsets 
Name Ty Document Count Ty Storage Size Ty 
0 0B 





Figura 11.20: Selecionando o índice para pesquisa 


Dashboard > Microsoft.Search - Overview > th-cognitive-search > hotels-sample-index 


hotels-sample-index 


O Refresh GT Create Search App (preview) In Delete 


Documents (T) Storage (7) 


0 0B 


Search explorer Fields CORS Scoring profiles Index Definition (JSON) 





Query string © API version 


É 2019-05-06 | 


Request URL 





https://th-cognitive-search.search.windows.net/indexes/hotels-sample-index/docs?api-version=2019-05-06&search=* D 
Results 

1 E E] 

2 "@odata.context": “https://th-cognitive-search.search.windows .net/indexes(‘hotels-sample-index')/$metadata#docs(*)", 

3 "value": [ 

4 { 

5 "@search.score": 1, 

6 "HotelId": "45", 

7 "HotelName": “Arcadia Resort & Restaurant", 

8 "Description": "The largest year-round resort in the area offering more of everything for your vacation - at 


the best value! What can you enjoy while at the resort, aside from the mile-long sandy beaches of the lake? Check out 
our activities sure to excite both young and young-at-heart guests. We have it all, including being named “Property of 
the Year” and a “Top Ten Resort” by top publications.”, 

9 “Description Tr": “La plus grande station de toute l'année dans la région offrant plus de tout pour vos 
vacances-au meilleur rapport qualité-prix! Que pouvez-vous profiter de la station, en dehors des kilometres de longues 
plages de sable du lac? Découvrez nos activités pour vous exciter a la fois les jeunes et les jeunes-a-coeur invités. 
Nous avons tout, y compris d'être nommé \"propriété de 1'annéel” et un \"Top Ten Resort\" par Top publications.”, 


10 "Category": "Suite", 

11 "Tags": [ 

12 “view”, 

13 "laundry service", 

14 "view" 

15 1 

16 "ParkingIncluded": true, 

17 “LastRenovationNate": "1987-05-ARTAA: 00:007". 


Figura 11.21: Exibição dos dados 


11.5 Construindo uma aplicação de testes 


Na seção anterior, vimos que o Azure Cognitive Search retorna um 
JSON com os dados disponíveis. Podemos construir uma aplicação 
para interpretar este JSON e exibir os dados da maneira que 
desejamos. Existe uma opção que exporta uma página em HTML 
com base nos critérios informados durante a criação do índice. 
Basta clicar sobre o link create Search App (Preview) : 


hotels-sample-index - Microsoft x + 


C 1?) @ portalazure.com 


UCS.Data.UDSServi.. 5 Stack Overflow =) Stack Overflow 


Microsoft Azure D Search resources, services, and docs (G+/) 


Dashboard > Microsoft.Search - Overview > th-cognitive-search > hotels-sample-index 





hotels-sample-index 


dex 


© Refresh GT Create Search App (pre Delete 





Create Search App (preview) 


You need to enable CORS to be able to qu ex from generated web: 





=< cms 


Request URL 








| https://th-cognitive-search.search.windows.net/indexes/hotels-sample-index/docs?api-version=2019-05-06&search=* D 
Results 

1 É Pi 

2 "@odata.context": "“https://th-cognitive-search.search.windows .net/indexes('hotels-sample-index' )/$metadata#docs(*)", 

3 "value": [ 

4 { 

5 "@search.score": 1, 

6 "HotelId": "45", 

7 “HotelName": “Arcadia Resort & Restaurant", 

8 “Description”: "The largest year-round resort in the area offering more of everything for your vacation - at 


the best value! What can you enjoy while at the resort, aside from the mile-long sandy beaches of the lake? Check out 
our activities sure to excite both young and young-at-heart guests. We have it all, including being named “Property of 
the Year” and a “Top Ten Resort” by top publications.", 

9 “Description fr": “La plus grande station de toute l'année dans la région offrant plus de tout pour vos 
vacances-au meilleur rapport qualité-prix! Que pouvez-vous profiter de la station, en dehors des kilomètres de longues 
plages de sable du lac? Découvrez nos activités pour vous exciter a la fois les jeunes et les jeunes-a-coeur invités. 
Nous avons tout, y compris d'être nommé \"propriété de l'année\" et un \"Top Ten Resort\" par Top publications.”, 


10 “Category”: "Suite", 

11 "Tags": [ 

12 "view", 

13 "laundry service", 

14 "view" 

15 b 

16 "ParkingIncluded": true, 

17 "I astRenavationDate": "1987-05-ARTOO:00:007". 


Figura 11.22: Criando uma aplicação de testes 


Selecione o checkbox para configurar o CORS e clique sobre o 
botão Create Search App : 


= Microsoft Azure D Search resources, services, and docs (G+/) 


Dashboard > Microsoft.Search - Overview > th-cognitive-search > hotels-sample-index 


hotels-sample-index 


index 


ME Refresh Cf" Create Search App (preview) [ii] Delete 


Create Search App (preview) 


Create Search App (preview) | Cancel 


Figura 11.23: Habilitando 0 CORS para a aplicagao 


Na tela seguinte, informe quais campos serao exibidos nas 
respostas da pesquisa: 


Individual result Sidebar Suggestions 


Customize how individual results will be displayed. 


An individual result © 








Thumbnail Title 
[selected v 
Description 


Create Search App (preview) | Next 


Figura 11.24: Selecionando quais campos serão exibidos 
Na etapa final, basta clicar em Download e abrir o arquivo: 
Create Search App (preview) 


Your download is ready 


To use the generated search website, CORS (*) must be enabled. Make sure CORS (*) is enabled in the index before using the generated website. 


Download | Cancel 


Figura 11.25: Download da página 


Efetuando uma pesquisa por * , todos os dados são retornados: 





© Hotelld 
1(1) 
10 (1) 
11 (1) 
12 (1) 


13 (1) 


w Category 
Budget (13) 
Resort and Spa (12) 
Luxury (9) 
Boutique (7) 


Suite (5) 


Tags 
view (17) 
24-hour front desk service (15) 
laundry service (15) 
air conditioning (12) 


concierge (12) 


¥ Rating 


o 





0.0<50<1.0m< 


Y Address/City 


New York (3) 


1-50 of 50 


ARCADIA RESORT & RESTAURANT 


The largest year-round resort in the area offering more of everything for your vacation — at the best value! What can you enjoy while at 
the resort, aside from the mile-long sandy beaches of the lake? Check out our activities sure to excite both young and young-at-heart 
guests. We have it all, including being named “Property of the Year" and a “Top Ten Resort” by top publications. 


TRAVEL RESORT 


The Best Gaming Resort in the area. With elegant rooms & suites, pool, cabanas, spa, brewery & world-class gaming. This is the best 
place to play, stay & dine 


SANTA FE STAY 


Nestled on six beautifully landscaped acres, located 2 blocks from the Plaza. Unwind at the spa and indulge in art tours on site. 


DAYS HOTEL 


Mix and mingle in the heart of the city. Shop and dine, mix and mingle in the heart of downtown. where fab lake views unite with a 
cheeky design 


TRIPLE LANDSCAPE HOTEL 


The Hotel stands out for its gastronomic excellence under the management of William Dough, who advises on and oversees all of the 
Hotel's restaurant services. 


SUPER DELUXE INN & SUITES 


Complimentary Airport Shuttle & WiFi. Book Now and save - Spacious All Suite Hotel, Indoor/Outdoor Pool, Fitness Center, Florida 
Green certified, Starbucks Coffee, HDTV 


SMILE HOTEL 


Experience the fresh, modern downtown. Enjoy updated rooms, bold style & prime location. Don't miss our weekend live music series 
featuring who's new/next on the scene. 


WHITEFISH LODGE & SUITES 
Located on in the heart of the forest. Enjoy Warm Weather, Beach Club Services, Natural Hot Springs, Airport Shuttle. 


GACC CAPITAL 


Chic hotel near the city. High-rise hotel in downtown, walking distance to theaters, restaurants and shops, complete with wellness 
programs. 


REGAL ORB RESORT & SPA 


Your home away from home. Brand new fully equipped premium rooms, fast WiFi, full kitchen, washer & dryer, fitness center 
PELHAM HOTEL 


Stunning Downtown Hotel with indoor Pool. Ideally located close to theatres, museums and the convention center. Indoor Pool and 
Sauna and fitness centre. Popular Bar & Restaurant 


Figura 11.26: Download da pagina 


Podemos selecionar um dos filtros no menu da esquerda, e uma 
nova pesquisa sera realizada ao Azure Cognitive Search aplicando 


o filtro selecionado: 


clear filter(s) 1-90f9 
GEE WHITEFISH LODGE & SUITES 
25 (1) Located on in the heart of the forest Enjoy Warm Weather, Beach Club Services, Natural Hot Springs, Airport Shuttle 
26 (1) CATFISH CREEK FISHING CABINS 


Brand new mattresses and pillows. Free airport shuttle. Great hotel for your business needs. Comp WIFI, atrium lounge & restaurant, 1 


30 (1) mile from light rail 
38 (1) 
SCOTTISH INN 
39 (1) Newly Redesigned Rooms & airport shuttle. Minutes from the airport, enjoy lakeside amenities, a resort-style pool & stylish new 


guestrooms with Internet TVs. 


Category 


LADY OF THE LAKE B &B 
Budget Nature is Home on the beach. Save up to 30 percent. Valid Now through the end of the year. Restrictions and blackout may apply. 


Resort and Spa BAR C RESORT & CAMPGROUND 


@ Luxury (9) Bar C is nestled on 20 unspoiled acres on a private cove of Rock Bottom Lake. We feature both lodging and campground 
i accommodations to suit just about every taste. Even though we are out of the traffic of the city, getting there is only a short drive away. 
Boutique 


OLD CARRABELLE HOTEL 


Suite Spacious rooms, glamorous suites and residences, rooftop pool, walking access to shopping, dining, entertainment and the city center. 





Y Tags TRAILS END MOTEL 


Only 8 miles from Downtown. On-site bar/restaurant, Free hot breakfast buffet, Free wireless intemet, All non-smoking hotel. Only 15 


24-hour front desk service (4) 
miles from airport. 


continental breakfast (4) 


MARQUIS PLAZA & SUITES 


free wifi (4) Extend Your Stay. Spend a day with the ocean life at the aquarium, then come home to amenities like free Wi-Fi, full kitchen, and free 
breakfast buffet 
view (4) 


SAPPHIRE RESORT 


air conditioning (2) 
Downtown, close to everything, steps to the park, shopping. and restaurants. 


Y Rating 


0.0<9<1.0m< E Ñ. 


Y Address/City 


Arlington (1) 


Figura 11.27: Filtrando 0 resultado de busca 


OK, muito legal, mas onde esta a parte de enriquecimento que 
fizemos? Vocé se lembra de que, durante 0 passo de 
enriquecimento, informamos para que as traduções fossem feitas 
em português? Se realizarmos uma pesquisa por um termo em 
português: 


piscina 





clear filter(s) 1-80f8 
7 Hotellid OLD CARRABELLE HOTEL 


18 (1) Spacious rooms, glamorous suites and residences] rooftop pool, walking access to shopping, dining, 


entertainment and the city center. 


20 (1) 
SUPER DELUXE INN & SUITES 


21 (1) Complimentary Airport Shuttle & WiFi. Book Now and save - Spacious All Suite Hotel Jindoor/Outdoor Pool, 


Fitness Center, Florida Green certified, Starbucks Coffee, HDTV 


25 (1) 
27 (1) PELHAM HOTEL 
Stunning Downtown Hotel wit Ideally located close to theatres, museums and the convention 
center. Indoor Pool and Sauna and fitness centre. Popular Bar & Restaurant 
wv Category 
' 
Budget (3) KING'S PALACE HOTEL 


Newest kid on the downtown block. Steps away from the most popular destinations in downtown, enjoy 
Luxury (2) free WiFi, anfindoor rooftop pools, fitness center, 24 Grab'n'Go & drinks at the bar 


Reena Spaa) SCOTTISH INN 
Boutique (1) Newly Redesigned Rooms & airport shuttle. Minutes from the airport, enjoy lakeside amenities, a resort- 
stylish new guestrooms with Internet TVs. 
v 
EB TRAVEL RESORT 
pool (4) The Best Gaming Resort in the area. With elegant rooms & sute poo pavanas, spa, brewery & world- 


class gaming. This is the best place to play, stay & dine. 


24-hour front desk service (3) 


NOVA HOTEL & SPA 


continental breakfast (3) 1 Mile from the airport. Free WiFi] Outdoor Pool,fComplimentary Airport Shuttle, 6 miles from the beach & 


10 miles from downtown. 
laundry service (3) 


OCEANSIDE RESORT 


air conditioning (2) 
New Luxury Hotel. Be the first to stay. Bay views from every room, location near the piperfrooftop pool 


` waterfront dining & more. 
v Rating 


Figura 11.28: Efetuando uma busca em outro idioma 


11.6 Possibilidades e casos de uso 


Neste capítulo, vimos como usar o Azure Cognitive Search e seus 
modelos pré-treinados de Al para extrair informação de arquivos. 
Você pode utilizar este mesmo serviço para diversas outras 
aplicações e cenários, como: 


e Auditoria e conformidade de registros contábeis ou processos 
judiciais; 


e Revisão de conteúdo técnico (extrair informações de relatórios 
técnicos); 

e Análise de feedback do cliente (pesquisas de opinião); 

e Gerenciamento de ativos digitais (obter informações de 
fabricantes, modelos etc.). 


Todas as funcionalidades demonstradas neste capítulo podem ser 
utilizadas sem que seja utilizado o portal para isto. Existem diversas 
opções e formas de pesquisa que foram omitidas propositalmente, 
pois envolvem um cenário em específico para sua aplicação. 
Dominar todas as funcionalidades de pesquisa bem como 
otimizações para a parte de relevância (ordenação) do resultado de 
busca é uma tarefa complexa e existem até mesmo cargos 
específicos para esta atividade (engenheiro de relevância). 


Para maiores informações sobre Azure Cognitive Search, 
consulte a documentação oficial: 


https://docs.microsoft.com/en-us/azure/search/ 





Se ficou com alguma dúvida ou precisa da ajuda de um especialista, 
acredito que o jeito mais simples de me encontrar seja via Twitter: 


e Twitter: https://twitter.com/thdotnet 


CAPITULO 12 
Presente, futuro e além 


Azure Cognitive Services 
The most comprehensive pre-trained Al with 20 Services 


Text Analytics 


Personalizer 


ee Translator Text Bing Spell Check 
Decision oe lanaudas 
c t Moderat Ink Recognizer Vision g g Language 
onten erator Face dis Understanding 
Anomaly Detector . . 
vis Vision Custom Moderator QnA Maker 
Vision 
Indexer 
rm Recognizer 
Conversation Custom 
transcription capability Speech gee éar an Bing Bing Entity Search 
Video Search z 
Bing News A a 
inti Search ocal Business 
Speech speech transcription =d a Web search "Sema 
in 
Text-to-Speech dey b Bing 
Neural Text-to-Speech Bing Autosuggest 


Bing Image Search 


Bing Visual Search 


Figura 12.1: Visão geral dos Serviços Cognitivos 


Exploramos alguns dos Serviços Cognitivos disponíveis, bem como 
suas possibilidades de uso. Existem outros serviços que estão em 
fase de pesquisa e podem ou não ser lançados em definitivo pela 
Microsoft. Você pode encontrá-los através da url: 
https://labs.cognitive.microsoft.com 


12.1 Futuro 


Já dizia Albert Einstein: Se, a princípio, a ideia n o é absurda, ent o 
n o há esperan a para ela. Algumas possíveis aplicações de 
Inteligência Artificial, pareciam utópicas alguns anos atrás, mas 


graças a internet de alta velocidade, acesso e barateamento da 
computação em nuvem, elas tornaram-se possíveis. 


Com base no que vimos aqui no livro, não é difícil prever que 
teremos evolução em robôs assistentes para uso doméstico e 
corporativo. Robôs aspiradores serão lançados com visão 
computacional aprimorada, com a qual não apenas vão reconhecer 
o ambiente, mas saberão identificar onde existe sujeira sem 
nenhuma interação humana. 


Também teremos robôs substituindo trabalhos que hoje são 
manuais como carga e descarga de mercadorias principalmente em 
terrenos de difícil acesso. Esta mesma tecnologia, pode ser utilizada 
para resgate de pessoas e animais após algum desastre natural ou 
desabamento. 


Recomendo que você assista os robôs desenvolvidos pela 
empresa Boston Dynamics para ter uma ideia das 
possibilidades: > 


https://www.youtube.com/watch?v=8vIT2da6N_o 





Nao é dificil prever que nossa face sera nossa nova carteira de 
identidade. Ja € comum em alguns aeroportos o check-in para 
determinado voo ser feito via reconhecimento facial. O que teremos 
será a popularização dessa tecnologia para outras areas, como 
ingressos para determinado evento estarem associados com 
determinada face. 


Inúmeras são as possibilidades e ao mesmo tempo chega a dar 
certo medo, pois diversos trabalhos deixarão de existir e/ou pessoas 
serão substituídas por máquinas. Nossa responsabilidade como 
desenvolvedores é aperfeiçoar o mundo, usando estes 
conhecimentos para o bem. Tornar possível o que antes era 
inimaginável ou "impossível", ajudar aqueles que antes eram 
desfavorecidos por algum tipo de deficiência. 


12.2 Últimas considerações 


Escrever este livro foi um tremendo desafio. Não tanto pela 
complexidade, mas pelo fato de diversos serviços e funcionalidades 
serem lançados ao longo dos meses de escrita, sem contar aqueles 
que mudaram de categoria. Também pelo fato das diversas 
interações que tive com times e engenheiros da Microsoft para 
esclarecer algumas dúvidas e algumas questões pessoais 
(mudança de cidade, depois mudança de país e mais recentemente 
a paternidade). 


Eu gostaria de agradecer à equipe da Casa do Código pela 
confiança, paciência e suporte. Em especial, meu muito obrigado 
para a minha editora Vivian Matsui por todo apoio e carinho ao 
revisar cada palavra deste livro. Vivian, sem você este livro não teria 
sido concluído. 


E, por fim, meu muito obrigado a você meu caro leitor, cara leitora. 


